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Voorwoord 


Een groot deel van de informatica richt zich op het ontwerpen, analy- 
seren en efficiënt uitwerken van algoritmen voor tal van taken. Dit 
boek tracht de meest fundamentele vragen die men zich bij dit soort 
activiteiten kan stellen te beantwoorden. Dat wil zeggen vragen als 
‘Waar liggen de grenzen van de mogelijkheden van computers?! en 
‘Bestaat er een algoritme voor het oplossen van een gegeven probleem?! 
en, zo ja 'Bestaat er ook een efficiënt algoritme?'. Deze vragen zijn zo 
uiterst belangrijk dat zij nauwgezet en gedetailleerd moeten worden 
beantwoord. 

In dit boek wordt die nauwgezetheid bereikt door gebruik te maken 
van het beproefde instrumentarium van de wiskundige redenering. Mis- 
schien vinden sommige lezers dat afschrikwekkend, maar in feite is 
er geen alternatief. Het boek is zo opgezet dat elke informatica-student 
in zijn tweede of derde studiejaar de inhoud moet kunnen verwerken. 
Zelfs een eerstejaars student kan aanzienlijk profijt trekken uit het 
bestuderen van de tekst. Het begrip oplosbaarheid is een van de basis- 
begrippen in de informatica en de ontwikkeling van het begrip onop- 
losbaarheid kan leiden tot verrassende inzichten. Nadat een maat voor 
de efficiëntie van algoritme is ingevoerd, is het onderverdelen van 
oplosbare problemen in handelbare en onhandelbare problemen een van- 
zelfsprekende volgende stap. Het begrip onhandelbaarheid, ('intracta- 
bility') wordt pas sinds vijftien jaar gehanteerd, maar moeilijk in deze 
theorie niet. 

Theoretische informatici gaan er altijd van uit dat iedereen weet 
wat een Tuwingmachine is. Deze automaten bieden ons een eenvoudig 
model voor berekenbaarheid, waarmee fundamentele resultaten kunnen 
worden afgeleid. Juist omdat zij zo vaak worden gebruikt en algemeen 
aanvaard zijn als standaardmodel in de berekenbaarheidstheorie beste- 


den wij er ook in dit boek aandacht aan. Natuurlijk bestaat er veel 
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den wij er ook in dit boek aandacht aan. Natuurlijk bestaan er veel 
andere modellen en soms hadden wij daarmee de presentatie kunnen 
vereenvoudigen, maar wij meenden de traditie ten aanzien van dit 
onderwerp te moeten respecteren. Zolang de meeste resultaten in publi- 
caties nog worden gepresenteerd met behulp van Turingmachines is het 
van belang dat de informaticus van hun betekenis op de hoogte is. 

Berekenbaarheidstheorie wordt vaak aan wiskundigen onderwezen en 
terecht! Het functiebegrip staat immers centraal in de wiskunde en het 
volledig doorzien daarvan zou een eerste vereiste moeten zijn voor het 
behalen van een universitaire graad in de mathematica. Helaas moet 
worden geconstateerd dat vele wiskunde faculteiten de berekenbaar- 
heidstheorie degraderen tot een keuzevak in het laatste studiejaar. 

Wij hopen dat dit boek universitaire docenten ervan kan overtuigen 
dat het materiaal met succes in een vroeger stadium van de studie kan 
worden onderwezen. 

Inleiding in de berekenbaarheidstheorie is één van drie boeken uit 
dezelfde serie die tezamen een theoretische grondslag vormen voor het 
informatica-onderwijs in de prekandidaatsfase. De andere twee boeken 
zijn Inleiding in de Theorie van de Formele Talen door V.J. Rayward- 
Smith en Inleiding in de Formele Logica met Toepassingen in de Infor- 
matica door R.D. Dowsing, V.J. Rayward-Smith en C.D. Walter. 

Tenslotte wil ik mijn collegae aan de universiteit van East Anglia, 
Norwich bedanken voor hun steun tijdens de voorbereiding van dit 
boek. In het bijzonder dank ik Dr. G.D. Smith voor zijn opmerkingen 
naar aanleiding van eerdere versies van de tekst. Ms. Carol Bracken 
dank ik voor haar typewerk; zonder haar hulp was dit boek een on- 
leesbare stapel aantekeningen in potlood gebleven. Mr. Hugh Prior 
eveneens van de Universiteit van East Anglia ben ik dankbaar voor 
het ontwikkelen van het Pascal programma voor de Turing Simulator 


dat in de Appendix is opgenomen. 


V.J. Rayward-Smith 
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Een naieve computergebruiker kan dit apparaat zien als een 'black box! 
waarin hij of zij gegevens invoert en die resultaten oplevert. Van program- 
meren hoeft deze gebruiker niets te begrijpen; het programma is door 
iemand anders geschreven. De computer accepteert input, (bijvoorbeeld 
een rij symbolen x) en berekent output. De output is opnieuw een rij 
symbolen of een string en hangt in de meeste gevallen op de een of andere 
manier af van x. We kunnen de output dus beschouwen als een functie 
f(x) van x. Hoe die functie en precies uitziet hangt af van het gebruikte 
programma; verschillende programma's berekenen meestal verschillende 
functies. (Zie Figuur 0.1.) 

In dit boek wordt een model ontwikkeld voor de 'black box! en de 
programma's die erin kunnen zitten. Met behulp van dit model kunnen 
we alle mogelijke programma's en de functies die ze berekenen, bestuderen. 
Ons model moet liefst eenvoudig zijn, zodat we het gemakkelijk kunnen 
analyseren, maar het moet toch zo krachtig zijn dat we er alle functies 
mee kunnen berekenen die we op grond van onze ervaring berekenbaar 
achten. We noemen dergelijke functies 'effectief berekenbaar'. Het is 
moeilijk om het begrip 'effectieve berekenbaarheid! formeel te definiëren 
omdat de term gebruikt wordt voor de klasse van functies, waarvan de 
computerexpert denkt dat zij met behulp van een programma kunnen wor- 
den uitgerekend. De functie kwadraat die als input een geheel getal accep- 


teert, (bijvoorbeeld in decimale notatie) en die als output dat getal met 


Output 
f(x) 


Input Black 


box 


Figuur 0.1 Een naïef computermodel 
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zichzelf vermenigvuldigd oplevert, is een voorbeeld van een effectief bere- 
kenbare functie. Maar wat betekent dat nu in de praktijk? Geen enkele 
computer kan kwadraat(x) berekenen voor alle mogelijke gehele getallen 
x en wel om de simpele reden dat de opslagcapaciteit van computers ein- 
dig is. Dat wil zeggen dat voor voldoende grote waarde van x de waarde 
kwadraat(x) niet in het computergeheugen kan worden opgeslagen. Toch 
is dit geen echte beperking: als de opslagcapaciteit van onze computer 
maar groot genoeg is, kunnen we ook van een grote waarde van x het 
kwadraat berekenen. Bij onze definitie van berekenbaarheid laten we 
daarom de praktische beperking ten aanzien van opslagcapaciteit buiten 
beschouwing. We noemen elke functie effectief berekenbaar, die bereken- 
baar is op een machine met onbegrensde opslagcapaciteit. Als we een mo- 
del ontwikkelen voor onze 'black box' dan moeten we in dit model dus ook 
uitgaan van een onbegrensd geheugen. Bij elke eindige berekening wordt 
weliswaar een eindige hoeveelheid geheugenruimte gebruikt, maar deze 
geheugenruimte is niet a priori begrensd. 

Het model dat we zullen gebruiken voor de 'black box! werd ontwikkeld 
door één van de grondleggers van de berekenbaarheidstheorie Alan Turing 
(1936). Er bestaan verscheidene andere modellen, zoals Post Machines 
(Post, 1936) en URIMs (Unlimited Register Ideal Machines, Shepherdson 
& Sturgis, 1963). De These van Church, het eerst geformuleerd in 1936 
(Church 1936a) en voortbouwend op het werk van Gödel (1931) en Kleene 
(1936), kan als volgt onder woorden worden gebracht: elke effectief bere- 
kenbare functie is Turing berekenbaar, dat wil zeggen berekenbaar met 
een Turingmachine. Omdat er geen strenge formele definitie bestaat van 
het begrip ‘effectief berekenbaar! is het onmogelijk deze bewering te 
bewijzen, maar alles wijst erop dat zij wel degelijk waar is. Ten eerste 
heeft nog nooit iemand een intuitief berekenbare functie kunnen bedenken 
die niet Turing berekenbaar is. Ten tweede berekenen de andere model- 
len, zoals Post machines en URIMs precies de klasse van Turing bereken- 
bare functies. Tenslotte blijkt elke poging om een schema te ontwikkelen 
dat alle effectief berekenbare functies voortbrengt, te leiden tot precies 
de klasse van Turing berekenbare functies (zie hoofdstuk 5). Overal waar 
men 'Turing berekenbaar! leest kan men dus ook ‘effectief berekenbaar' 
lezen en omgekeerd. 

De Turing machine (TM) bezit een onbegrensde opslagcapaciteit in de 
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vorm van een band die is onderverdeeld in een aantal geheugenplaatsen , 
genummerd met ...-2,-1,0,1,2,..., zoals in Figuur 0.2 is aangegeven. 

In elke geheugenplaats kan één symbool uit een tevoren gedefinieerd alfa- 
bet worden opgeslagen. Aan het begin is de band leeg: elke geheugen- 
plaats bevat het symbool voor 'leeg' dat we met ^ weergeven. Vervolgens 
kan een input x=X1ıX2...Xņ symbool voor symbool naar de geheugen- 


plaatsen 1,2,...,n worden geschreven. 


Figuur 0.2 De beginconfiguratie van een Turingmachine 
met input X = XX2... Xn 


De TM heeft verder een leesschrijfkop die vooruit en achteruit langs 
de band kan worden bewogen en waarmee symbolen kunnen worden gele- 
zen, geschreven en uitgewist. De leesschrijfkop bevindt zich steeds in 
één van een eindig aantal toestanden Q. Aan het begin bevindt de kop 
zich in de begintoestand qo€Q en wordt de inhoud van locatie 1 
gelezen. De machine stopt alleen als één van de eindtoestanden wordt 
bereikt. 

Op ieder moment van de berekening bevindt de kop zich dus in de een 
of andere toestand qy en wordt een symbool van de band gelezen (het 
huidige tapesymbool). De volgende stap die door TM wordt uitgevoerd 
hangt af van de toestand dk en van het gelezen symbool. Als qg geen 
eindtoestand is en de machine dus niet stopt dan kan{de kop het huidige 
tapesymbool overschrijven en vervolgens een locatie naar links of naar 
rechts bewegen. Tegelijkertijd kan de toestand dk al dan niet veranderen. 
Als de machine wel stopt dan worden de symbolen op de locaties 1,2,...,m 
als de output beschouwd. Hierbij is locatie m+1 de eerste lege locatie. 

Welke actie moet worden uitgevoerd bij elke stap van de berekening 
wordt bepaald door het Turingmachine programma. We zullen, zoals 
gebruikelijk, het begrip 'Turingmachine' niet alleen gebruiken voor de 
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machine zelf, maar ook voor het bijbehorende programma. Twee Turing- 
machines zijn dus verschillend als hun programma's verschillend zijn. 
Elke stap in een' TM programma wordt beschreven als een uit te voeren 
actie afhankelijk van de toestand van de kop en het gelezen symbool op 
de tape. De acties worden weergegeven als vijftupels, zoals in Figuur 
0.3. 


Huidige Huidige Nieuwe Nieuw Richting 
toestand | tape symbool | toestand | symbool | van kopbeweging 


IL d Nieuw 


Figuur 0.3 


Het TM programma bestaat uit een lijst van dergelijke vijftupels. Als 
het goed is staat er voor elke huidige toestand en voor elk mogelijk daar- 
bij horend tapesymbool precies één relevant vijftupel in de lijst, dat de 
nieuwe toestand van de kop definieert, het symbool dat het huidige tape- 
symbool moet vervangen aangeeft en de richting bepaalt waarin de kop 
zich moet bewegen, (L voor links, R voor rechts en 0 voor niet bewegen). 
Een dergelijk TM programma met unieke instructies heet deterministisch. 

Ter illustratie construeren wij een heel eenvoudige Turingmachine voor 
de volgende berekening. We veronderstellen dat de input een string x is, 
waarin een positief aantal malen het teken 1 voorkomt. De TM moet als 
output een 1 opleveren als het aantal enen in x even is en anders een 0. 


De TM berekent dus de functie even met 


| 1 als x een even aantal enen bevat 
even(x) = 
0 anders 


We formuleren eerst een algoritme in ‘gestructureerd Nederlands! en 
hieruit leiden we vervolgens het TM programma af. Het algoritme berust 
op het volgende idee: doorloop de inputstring van links naar rechts en 
houd bij of er een even of oneven aantal enen is geteld door naar de toe- 
stand qo over te gaan als een even aantal enen is geteld en naar de toe- 
stand qı als het aantal oneven is. Uiteindelijk komen we bij een lege 
geheugenplaats op de tape. Als we dan in toestand qo zijn is het totaal 
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aantal enen even en als we in toestand qı zijn dan is het oneven. We star- 
ten de TM dus met de inputstring op de geheugenplaatsen 1,2,... en in 
begintoestand qo, terwijl de leesschrijfkop boven geheugenplaats 1 staat. 
Het begin van het algoritme kunnen we dan als volgt beschrijven, (de 


accolades bevatten commentaar): 


zolang huidige-tape-symbool = 1 doe 
als toestand = q dan ga over naar toestand qı; ga naar rechts 
anders {toestand = qı} ga over naar toestand qo; ga naar rechts 
eindeals 
eindezolang ; 
{huidige-tape-symbool = A} ga naar links 


Vervolgens wissen we alle enen op de tape uit en schrijven we de out- 
put op plaats 1. We bewegen daartoe de kop naar links en vervangen elke 
gelezen 1 door het symbool voor 'leeg' a . Dit zetten we voort totdat we 
een A lezen. Dit betekent dat we op plaats 0 zijn aangeland; vervolgens 
bewegen we de kop één plaats naar rechts ter voorbereiding van het der- 
de deel van het algoritme: het schrijven van de output. Het tweede deel 
luidt: 


zolang huidige-tape-symbool = 1 doe 

vervang symbool door ^ ; ga naar links 
eindezolang ; 
{huidige-tape-symbool = A} ga naar rechts 


De kop staat nu weer boven plaats 1 en daar schrijven we een 1 als 
we ons in toestand qo bevinden en een 0 als we in toestand qı zijn. Tege- 
lijkertijd gaan we over naar de eindtoestand q2. Het derde deel van het 


algoritme wordt dan: 


{huidige-tape-symbool = A} 
als- toestand = qo dan ga over naar toestand q2; vervang symbool door 1 
anders {toestand = qı} ga over naar toestand q2; vervang symbool door 0 


eindeals 


Het eerste deel van het algoritme kan worden vertaald in de volgende 


rij vijftupels: 
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(qo,1,q1,1,R) 
(q1,1,qo, l,R) 
(qo,A,qosA,L) 
(q1,A,Qq1,A,L) 


Het tweede deel wordt 


(qo, 1,40, A,L) 
(q1,1,Q1,A,L) 
(Qo,A,Q0,A,R) 
(q1,A,Q1,A,R) 


en het derde deel 


(qo,A,1,0) 
(q1,A,0,0) 


Als we het bij deze lijst van vijftupels zouden laten dan zou onze TM 
niet deterministisch zijn omdat dezelfde toestand met dezelfde input tot 
verschillende resultaten kan leiden. Dit kan worden opgelost door nog 
een paar nieuwe toestanden te introduceren. In het eerste deel blijven 
we qo en qı gebruiken, maar in het tweede deel gebruiken we q) en q! 


en in het derde deel qf en q}. Het uiteindelijke programma wordt dan 


(qo,1,q1,l,R) 
(q1,1,qo,1,R) 
(qosA, q0 ^L) 
Cai rAr ien) 
CHE EL GEAN 
(ai,1,41,A,L) 
(qj As 45, A,R) 
Cas AE AR) 
(ag A, q2,1,0) 
(ql ‚A, q2,0,0) 


hierbij is qo de begintoestand van q2 de enige eindtoestand. Hiermee heb- 
ben we laten zien dat even een Turing berekenbare functie is. In Figuur 
0.4 hebben we alle stappen die de TM uitvoert weergegeven bij input 
x=111. 


-1 


Inleiding 


EEE 
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Wiskundige Basisbegrippen 


Maar dit boek kan men niet begrijpen tenzij men heeft geleerd 
de taal te verstaan en de tekens te ontcijferen waarin het is 
geschreven. De taal is de taal der wiskunde ... 

als men die niet kent blijve dit boek gesloten. 


Galileo Galilei 
Il Saggiatore 


In dit hoofdstuk geven we een overzicht van de wiskunde die nodig is 

om de rest van het boek te kunnen begrijpen. Lezers voor wie dit de eer- 
ste kennismaking is met deze stof wordt aangeraden dit hoofdstuk goed 
te bestuderen, zodat alle begrippen volkomen duidelijk zijn. Als de stof 
niet nieuw is dan kan het hoofdstuk snel worden doorgelezen zodat de 


notatie die verder in het boek wordt gebruikt kan worden begrepen. 


VERZAMELINGEN 


Een verzameling bestaat uit een aantal verschillende objecten. Elk object 
binnen een verzameling wordt een element van die verzameling genoemd. 
Als het aantal elementen in een verzameling niet erg groot is dan kan de 
verzameling worden beschreven door haar elementen op te sommen. Als 


bijvoorbeeld D de verzameling van dagen van de week voorstelt dan geldt 


D = {Maandag, Dinsdag, Woensdag, Donderdag, Vrijdag, 
Zaterdag, Zondag } 


De elementen worden opgesomd gescheiden door komma's en het geheel 
wordt binnen accolades geplaatst. In het algemeen is de volgorde waarin 
de elementen worden opgesomd niet van belang. We hadden net zo goed 


kunnen schrijven 


2 Hoofdstuk 1 


D = (Maandag, Woensdag, Vrijdag, Donderdag, Zondag, 
Dinsdag, Zaterdag } 


Als een element x voorkomt in een verzameling A dan schrijven we 
EA (lees: x is element van A) en als x niet in A voorkomt dan schrij- 


ven we xd A. Bijvoorbeeld 


Maandag € D 
maar 


Wasdag ¢ D 


Vaak heeft een verzameling een zeer groot aantal elementen en soms 
zelfs oneindig veel elementen. Een volledige opsomming is dan wat onhan- 
dig en de verzameling kan dan beter worden beschreven door middel van 
een of andere definiërende eigenschap van de elementen. Een element x 
komt dan in de verzameling voor als x de definiërende eigenschap heeft. 


Voor de verzameling D is een geschikte definiërende eigenschap 
'x is een dag van de week'. 

We kunnen dan schrijven 
D = {x| x is een dag van de week } 


Of om een ander voorbeeld te geven 


P = {x|x is een priemgetal} 


waarmee een oneindige verzameling van gehele getallen wordt gedefini- 
eerd. 

Als we verzamelingen op deze manier definiëren dan moeten we er wel 
aan denken ook het universum waaruit de elementen stammen te beschrij- 


ven. Als bijvoorbeeld 
X = {alx > 2} 


dan kan de precieze aard van X alleen worden vastgesteld als we ook we- 
ten welke waarden x kan aannemen. De verzameling waarbij x alleen gehe- 
le waarden kan aannemen is bijvoorbeeld duidelijk verschillend van die 


waarbij x alle mogelijke reële waarden mag aannemen. In het eerste geval 


Wiskundige Basisbegrippen 3 


2el ¢ X en in het tweede geval 2:1€ X. Bij alle verzamelingen die we 
bekijken komen de elementen voort uit een of ander specifiek universum 
UW. Bijvoorbeeld de gehele getallen, de positieve reële getallen, enzo- 
voorts. 

Een heel belangrijke verzameling is de lege verzameling. Deze verzame- 
ling bevat geen elementen en wordt weergegeven door Ø of ook wel door 
{}. 

A is een deelverzameling van B, notatie A < B, als ieder element van 
A ook element van B is. Als A geen deelverzameling van B is kunnen we 


dat aangeven met A£B. Dus 


{1,2,4} <{1,2,3,4,5} 
maar 


{2,4,6}£{1,2,3,4,5} 


Altijd geldt 
Ac U 
en 
p SA voor alle verzamelingen A. 


Twee verzamelingen A en B zijn gelijk, notatie A =B,als ASB en BSA. 
Dus | 
{1,2,3,4} ={2,1,4,3} 
maar 


(458, 3;4F 202,1 355) 


Duidelijk is dat A=B desd (dan en slechts dan) geldt als A en B precies 
dezelfde elementen bevatten. Als Ac B; maar A+ B dan schrijven we 

A c B en noemen we A een echte deelverzameling van B. De verzameling 
van alle deelverzamelingen van een verzameling A heet de machtverzame- 
ling van Aen wordt weergegeven door 24, Als bijvoorbeeld A= {1,2,3} 
dan is 7° = (Ø, {1}, {2}, (3), (1,27, {1,3}, {2,3}, {1, 2, 3}). 

Operaties op verzamelingen zijn de unaire operatie complement (') en 
de binaire operaties vereniging (U); doorsnede (N) en verschil (\). (Een 
operatie heet unair als hij op één operand wordt toegepast en binair als er 
twee operanden voor nodig zijn.) De operaties worden als volgt gedefi- 


nieerd: 
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Als A en B verzamelingen zijn dan 


A'= {xx ¢ A} 
deze verzameling bestaat uit alle elementen van het universum 


die niet in A voorkomen; 


AUB ={x|lxE€ A: of xep} 
alle elementen die in A of in B voorkomen; 


ANB = {x|x € A en x€B} 


alle elementen die zowel in A als in B voorkomen; 


A\B = {x|x€A maar x & B} 
alle elementen uit A die niet in B voorkomen. 


Als bijvoorbeeld W={0,1,2,3,4,5,6,7,8,9}, A={0,1,3,5} en B = {2,3,5} 
dan 


A' = {2,4,6,7,8,9 } A N B = {3,5} 

AUB = (0;1,2,3,5} A\B = {0,1} B\A = {2}. 
U en N zijn beide associatieve operaties, dat wil zeggen 

(AUB)UC =AU(B UC) 
en (ANB) UC =z=AN(BNC) voor alle verzamelingen A, B en C. 


De verschiloperatie is niet associatief. U en N zijn ook commutatief, dat 
wil zeggen 


AUB=BUA 


en ANB=BNA voor alle verzamelingen A en B.\ is niet commutatief. 


In stelling 1.1 zijn deze en enkele andere eigenschappen samengevat. 


Stelling 1.1 (Eigenschappen van verzamelingen) 
Voor alle verzamelingen A, B en C in het universum UÙ geat: 


(1) Associativiteit (Au B)UC =AU(BUC) en 
(An B)NC=AN(BNC) 


(2) Commutativiteit AUB =BUA en ANB=BNA 
(3) _Complementariteit A UA! =W en AnA'= 


(4) Gelijkmachtigheid A UA =A en ANA =A 
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(5) Identiteit AUG =A en An W=A 

(6) _Nul-eigenschap AVU =U en AN =ø 

(7)  Involutie-eigenschap (A!) =A 

(8) Wetten van de Morgan (A UB) =A'N B! en (ANB) = A! UB! 


(9) Distributiviteit AU(BNC) =(AUB)N(AUC) en 
AN (BUC) =(ANB)U(ANC) 


Omdat vereniging associatief is kunnen we AUB UC schrijven. Het re- 
sultaat is onafhankelijk van de volgorde van het uitvoeren van de opera- 
ties altijd hetzelfde Deze zelfde redenering geldt voor A, UA U... U An 
als A, ‚A prees An verzamelingen zijn. Deze laatste vereniging zullen we 


schrijven als 


en we schrijven 


n 
N A, voor A, NA, N cssA 


1 l n 


i 

We noemen twee verzamelingen A en B disjunct als zij geen elementen 
gemeenschappelijk hebben. Dat kunnen we ook aangeven door ANB = $. 
Als A ‚en A, verzamelingen zijn dan is hun produkt Ax A, gede- 


finieerd als de verzameling van alle paren (a „a 2) met a, uit A, en a 


1 2 


uit Aj Dat wil zeggen 
A, x A, z {(a„a)la, EA, ‚a, EA} 


Als bijvoorbeeld A, = {0,1} en A, = {x,y,z} dan is A, x Ag = 
{(O,2), (0,y), (0,2), (1,29), (1,9), (1,2)}. 


Evenzo bevat A, x A, x A, alle tripels (a, ‚a A) met a, uit A a 


2 2 


uit A „en a uit Aj: De definitie kan worden uitgebreid naar alle n-tupels 


3 
(a, sa,..-,4) met a, € A, vor ER e E Y 
Merk op dat AxB £ BxA, tenzij A=B. De volgende distributieve 


wetten kunnen gemakkelijk worden aangetoond. 
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Stelling 1.2 

(1) A x (B, UB) = (A x B) U (A x B) 
en (A, UA) x B= (A, * B) U (A, x B); 

(2) A x (B) NB) = (A x B|) N (A x B) 
en (A, NA) x B= (A, * B)N (A, x B); 

(3) A x (B, \B) = (A xB,) \ (A x B) 
en (A, \A) x B (A, x B) \ (A, x B). 


CARDINALITEIT EN AFTELBAARHEID 


A heet een eindige verzameling als A een eindig aantal elementen bezit en 
A heet een oneindige verzameling als het aantal elementen in A oneindig 
is. 

De cardinaliteit van een eindige verzameling A noteren we als #(A) en 
is gedefinieerd als het aantal elementen in A. Als D bijvoorbeeld de verza- 
meling van dagen van de week is dan is #(D) = 7. Een verzameling met 
cardinaliteit één wordt wel een singleton (spreek uit singelton) genoemd. 

Bij oneindige verzamelingen zou het handig zijn als we een systemati- 
sche methode hadden voor het opsommen van de elementen, zodat we over 
het ‘eerste element', het 'tweede element! enzovoort zouden kunnen spre- 
ken. Als N bijvoorbeels de verzameling van de natuurlijke getallen is dan 
begint die opsomming met 1,2,3,4,... en kunnen we het hebben over 'het 
i-de natuurlijke getal'. Het ligt niet direct voor de hand (sterker nog 
het is niet waar) dat elke oneindige verzameling zo opgesomd kan worden. 

Kunnen we bijvoorbeeld ook Z de verzameling van alle gehele getallen 
systematisch opsommen? Dat kan inderdaad: we beginnen met 0 en vermel- 
den vervolgens de natuurlijke getallen in opklimmende grootte twee keer 
met verschillend teken. Dus 


IPS nt Pd PE se Plot: SOE 


Uiteindelijk bereiken we zo elke zEZ. 

In Figuur 1.1 hebben we een manier weergegeven om alle elementen 
uit N xN systematisch op te sommen. Hierbij wordt (m,n) genoemd voor 
(m' ‚n!) als ofwel m+n <m'+n', ofwel als m+n=m'+n' en m<m'._ 


Steeds als we een systematische manier vinden om alle elementen van 
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(1,1) 


(2,1) 


Figuur 1.1 


een verzameling op te sommen, kunnen we spreken van het 'i-de element 
van de verzameling' en we noemen de verzameling dan aftelbaar. Elke 
eindige verzameling is aftelbaar maar dit geldt niet voor elke oneindige 
verzameling. Een voorbeeld van een niet aftelbare oneindige verzameling 
is R - de verzameling van de reële getallen. Sterker nog: we zullen aan- 
tonen dat de reële getallen >0 en <1 niet aftelbaar zijn. We geven dit 
interval aan met [0,1). Het bewijs maakt gebruik van de diagonalisatie- 
methode van Cantor. We veronderstellen dat we beschikken over een sys- 
tematische opsomming van de elementen en we zullen vervolgens aantonen 
dat deze veronderstelling tot een tegenspraak leidt en dus niet juist kan 
zijn. Als we de getallen in decimale notatie weergeven dan ziet onze op- 
somming er zo uit 


l-ste getal 0 az 
2-de getal 0 "AU 


3-de getal 0 "a, aa fag 


hierbij stelt elke a; dus één der cijfers 0,1,2,3,4,5,6,7,8 en 9 voor. In 
deze opsomming zal dus uiteindelijk elke reële waarde uit het interval 
[ 0,1) moeten voorkomen. We gaan nu uit van het getal 


Ova, 0 fhg 


samengesteld uit de cijfers op de diagonaal van onze lijst en we definiëren 


een nieuw getal 
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Ob, ‚b‚,b33 es 


met 
a. +1 als a..<9 
ii ii 


0 als a s9 
ii 


Dit laatste getal nu kan nooit in onze lijst voorkomen omdat het immers 
van het i-de getal in de lijst verschilt in minstens het i-de cijfer, (i = 
1,2,3,...). Onze lijst is dus toch niet volledig en dit is in tegenspraak 
met onze veronderstelling dat dit wel het geval was. Hiermee is aange- 
toond dat [0,1) niet aftelbaar is en de verzameling R van de reële 
getallen is dat dus zeker niet. 

Voor eindige verzamelingen geldt dat PA, x A, ) = FA, )x #(A, ) en 
met behulp van Figuur 1.1 kan worden aangetoond dat A i” A, aftelbaar 
is als zowel A i als A, aftelbaar is. Dit resultaat kan worden uitgebreid 
tot: voor elke n> 1 geldt dat #(A xAjx...x A) = ECAD AA) x… 

již #CA n) als de verzamelingen eindig zijn en dat A, x A, Ht KA 


n 
aftelbaar is als A i ,A geene An aftelbaar zijn. 


RELATIES 


Een relatie R is elke deelverzameling van A, xA 5 waarbij A, het domein 
of definitiegebied en A, het bereik (Engels: range) of beeld van R. Bij 
veel relaties zijn domein en beeld dezelfde verzameling, bijvoorbeeld A. 
In dit geval noemen we Rc AxA een relatie op A. Als A bijvoorbeeld 


de verzameling {0,1,2,3} is dan is de verzameling van geordende paren 
L = {(0,1),(0,2),(0,3),(1,2),(1,3),(2,3)} 
de relatie op A die overeenkomt met 'strikt kleiner dan' en 
E = {(0,0),(1,1),(2,2),(3,3)} 
is de relatie op A overeenkomend met 'gelijk aan'. We zullen in het ver- 
volg aRb gebruiken voor (a,b) ER en aRb voor (a,b) R. 
Een relatie R op A heet reflexief als 


aRa voor alle a€A. 
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De relatie L is dus geen reflexieve relatie op A omdat (0,0) ÉL, maar 


de relatie E is wel reflexief. 


Een relatie is symmetrisch 
als uit aRb volgt dat bRa. 


L is niet symmetrisch omdat (0,1)€ L, maar (1,0) éL. E is wel symme- 


trisch. 


Een relatie R op A is transitief 
als uit aRb en bRc volgt dat aRc. 


L en E zijn beide transitieve relaties. 


Een relatie is antisymmetrisch 
als uit aRb en bRa volgt dat a=b. 


E en L zijn antisymmetrisch en dit geldt ook voor EUL. De relatie 
{(0,1),(1,0)} is niet antisymmetrisch. 


Als een relatie R op A reflexief, symmetrisch en transitief is dan 
heet de relatie een equivalentierelatie. Uit het voorgaande blijkt dat E 
een equivalentierelatie is. Een ander voorbeeld is 


V= {(0,0),(0,2),(1,1),(1,3),(2,2),(2,0),(3,1),(3,3)} 


Als R een equivalentierelatie is op A en a€A dan kunnen we de verza- 
meling van alle elementen a beschouwen die via R aan a gerelateerd 


zijn. Dat wil zeggen 
a = {b €A|aRb} 


Een dergelijke verzameling wordt een equivalentieklasse genoemd. 

Bij E bestaan vier verschillende equivalentieklassen 0 = {0}, I = {1}, 
2 = {2}, 3 = {3}. Bij V bestaan maar twee verschillende equivalentie- 
klassen 0 = 2 = {0,2} en I= 3 = {1,3}. Hieruit blijkt dat de equiva- 
lentieklassen die worden gedefinieerd door een equivalentierelatie R op 
een verzameling A deze verzameling altijd verdelen in een aantal dis- 
juncte niet-lege verzamelingen, (zie oefening 1.6). 

Als R een willekeurige relatie op A is dan is de reflexieve (respectie- 
velijk symmetrische of transitieve) insluiting van R de kleinste reflexieve 
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(symmetrische of transitieve) relatie op A waar R een deelverzameling 


van is. Als bijvoorbeeld 
R = {(0,1),(1,1)(1,2)} 
een relatie op A= {0,1,2} is dan is de bijbehorende reflexieve inslui- 
ting 
{(0,0),(0,1),(1,1),(1,2),(2,2)} 
de symmetrische insluiting is 
{(0,1),(1,0),(1,1),(1,2),(2,1)} 
en de transitieve insluiting is 
{(O, 1), (0,2)(1,1),(1,2)} 


Zo heeft de relatie < gedefinieerd op alle gehele getallen als reflexieve 
insluiting de relatie <, als symmetrische insluiting de relatie # en omdat 
de relatie < zelf transitief is, is de transitieve insluiting de relatie zelf. 

Een relatie op A is een ordeningsrelatie op A als de relatie reflexief, 
antisymmetrisch en transitief is. Als een dergelijke relatie bestaat voor 
een niet-lege verzameling A dan heet A partieel geordend ten opzichte 
van die relatie. Als een verzameling A partieel geordend is ten opzichte 
van een relatie c dan kunnen er in A de elementen a en b voorkomen 
met a £b en bg a. Dergelijke elementen worden niet-vergelijkbaar 
genoemd. Een partieel geordende verzameling heet totaal geordend als 
de verzameling geen niet-vergelijkbare elementen bevat. De verzameling 
der gehele getallen Z is een voorbeeld van een totaal geordende verza- 
meling ten opzichte van de relatie <. De machtverzameling van een ver- 
zameling is een voorbeeld van een partieel, maar niet totaal geordende 
verzameling ten opzichte van de relatie c. 

Op elke aftelbare verzameling A kunnen we een totale ordening aan- 
brengen door de elementen a, ,„45,... in een bepaalde volgorde op te 
sommen en te stellen dat a, SA desd i<j. 

Als < een ordeningsrelatie op A aangeeft dan zullen we c gebruiken 
voor agb en a £b. Dit komt overeen met de bekende ordenings- 
relaties < en < op verzamelingen van getallen en met c en c bij verza- 


melingen. 
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FUNCTIES 


Een functie f van een verzameling A naar een verzameling B verbindt 
met elke a € A een uniek element b € B. Dit wordt weergegeven als 
b =f(a). Vaak bestaat er een of andere formule of rekenkundige uit- 
drukking voor de functie f in termen van a. 

We kunnen een functie f:A > B ook beschouwen als de verzameling 
van alle paren (a,b) met a € E en bEB en b=f(a). Een functie 
f:A > B wordt dus soms ook wel gedefinieerd als een relatie in A x B 
met de eigenschap dat als (a,b)€ f en (a,c)€E f dat dan noodzake- 
lijkerwijs b = c. Deze laatste restrictie is de vertaling van de eis dat 
fla) een unieke waarde moet hebben. 

Als f een functie van A naar B is dan schrijven we, zoals we hier- 
boven al zagen, f:A>B en we noemen A het domein van f en B het 
codomein van f. De verzameling {f(a)|a € A} heet het bereik van f en 
dit is een deelverzameling van het codomein van f. De functie dubbel: 
N > N, gedefinieerd als dubbel(n) = 2n voor alle n € N heeft bijvoor- 
beeld als bereik de verzameling van de even getallen. 

Meestal is een functie f:A>B gedefinieerd voor alle a € A. Deze 
functies worden wel totale functies genoemd. Soms zullen we een functie 
f:A > B gebruiken waarbij f(a) niet voor alle a € A is gedefinieerd. 
Zo'n functie heet een partiële functie. De functie reciproke: R > R 
gedefinieerd door reciproke(x)=1/x bijvoorbeeld is partieel omdat 
deze niet is gedefinieerd voor x = 0. Bij elke partiële functie kan een 
totale functie worden geconstrueerd door het domein geschikt te kiezen. 
De functie reciproke is bijvoorbeeld wel een totale functie op R\{0}>R. 
De lezer kan er in het vervolg van uitgaan dat een functie totaal is 
tenzij het tegendeel expliciet wordt vermeld. 

Een totale functie f:A > B is surjectief als er voor elke b € B 
een a € A bestaat met f(a) =b. De functie is injectief of een-op-een 
als bij elk element van A een uniek element van B hoort, dat wil zeggen 
dat f(a) = f(a, ) desd als a, = Aj. In Figuur 1.2 hebben we een aan- 
tal gevallen weergegeven door de elementen (a,b) € f aan te geven 
met een pijl van a €A naar pbE€B. Als een totale functie f zowel sur- 
jectief als injectief is dan noemen we f een bijectie. Met behulp van dit 
begrip kunnen we nu aftelbaarheid formeel definiëren als: een verzame- 


ling A is aftelbaar als deze eindig is of als er een bijectie f:A >N 
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Een partiële functie Een relatie maar 
geen functie 


Een totale functie A>B Een totale functie A>B 
surjectief maar niet surjectief en een-een 
een-een 
Figuur 1.2 


bestaat. Deze bijectie komt neer op de afbeelding van het i-de element 
van A op het positieve gehele getal i. 

Als x een reëel getal is dan is [x] het kleinste gehele getal groter 
dan x en is |x J het grootste gehele getal kleiner dan x. De functies 
rondop(x) = |x] en rondaf(x)=|x] van R naar Z zijn beiden surjec- 
tief, maar niet injectief. De functie kwadraat(n)= n? van N opN is 
een voorbeeld van een injectieve functie die niet surjectief is. Zouden 
we het domein van de functie uitbreiden tot Z dan was de functie ook 
niet meer injectief. 

De eenheidsfunctie identiek(a) =a is een bijectie A-A voor elke 
verzameling A. Interessanter is de bijectie gedefinieerd door 
wissel:N>N met 


n-l als n even is 


wissel(n) = 
n+l als n oneven is. 


Als het codomein van een functie wordt gevormd door de verzameling 
van logische of Boole'se waarden {T,F} (T staat voor True of waar en 
F voor False of onwaar), dan wordt de functie een predicaat genoemd. 
De functie even:N > {T,F} gedefinieerd door 


T als n even is 
even(n) = 


F als n oneven is 


is een voorbeeld van een predicaat op de natuurlijke getallen. 
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Tot nu toe bekeken we alleen functies van één variabele of unaire 
functies. Functies van twee variabelen, de eerste uit een verzameling 
A, en de tweede uit een verzameling A, worden binaire functies 
an. Algemeen heet een functie f: A, X A, ………xA,>B eenn- aire 
functie. Het aantal argumenten of anahat 8 de icti wordt de 
ariteit van de functie genoemd. 

Bijvoorbeeld som:RxR-R is een binaire functie met als definitie 
som(x, y) = x+y. Tripelsom is een 3-aire functie RxRxR>R met als 
definitie tripelsom(x,y,z) = x +y +z. 

Stel f:A >B en g:C>D zijn twee functies. Als het bereik van f 
een deelverzameling is van het domein van g dan kunnen we spreken 
van de samengestelde functie Io f, waarbij g f:A>D is gedefinieerd 
als Iof% = g(f(a)) voor alle a€A. Het bereik van de functie Jof 
is een deelverzameling van het bereik van g, (zie Figuur 1.3). 


bereik | bereik 
van van 
gof g 


Figuur 1.3 


Als bijvoorbeeld succ:N N is gedefinieerd als succ(n) = n+1 dan 
is succ kwadraat: N >N gedefinieerd door succ kwadraat (n) = 
succ(kwadraat(n)) = succ(n?) = n?+1, maar kwadraat succ(n) = (n+1)?. 
Hiermee is duidelijk dat het samenstellen van functies in het algemeen 
geen commutatieve operatie is. Wel is er altijd sprake van associativiteit. 

Als f:A>B en f t:B >A zodanige functies zijn dat FERA >A 
en A >B beiden de identiteitsfunctie zijn dan wordt f~t de in- 
verse functie van f genoemd. De inverse van een functie f:A>B is 
alleen dan een totale functie B>A als f een bijectie is, (zie Oefening 
1.12). De inverse van de identiteitsfunctie identiteit: A >A is de func- 
tie identiteit zelf. Dit is echter niet de enige functie die zijn eigen 
inverse is; ook de eerder gedefinieerde functie wissel(n) is zo'n functie. 


We geven nog enkele voorbeelden van functies die inversen hebben: 
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somk:R>R(k + 0) gedefinieerd door somk(k) =x +k heeft als inverse 
subk:R>R met subk(x) =x-k. De functie multk:R>R (k 0, k£ 1) 
gedefinieerd door multk(x) = x*k heeft als inverse divk:R>R met 
divk (x) =x/k. 

Als f en g beiden (mogelijk partiële) functies zijn A>B dan zeggen we 
f is gelijk aan g of f = g voor alle x€ A als ofwel f(x) en g(x) beiden niet 
gedefinieerd zijn, ofwel f(x) = g(x). Dus bijvoorbeeld: som2 = som1 som1 
en som3 = subl som4 = som1™* som4 enzovoort. 


INDUCTIE EN RECURSIE 


Inductie is een krachtige techniek die kan worden toegepast telkens als 
men een aftelbare rij stellingen { T,[nEN} wil bewijzen. We willen bij- 
voorbeeld bewijzen dat 8- 37 deelbaar is door 5 voor n = E PE TOR 

Dit bewijs gaat als volgt in zijn werk: 

(1) We bewijzen dat T, waar is 
(2) We bewijzen dat voor alle kEN geldt dat als Th waar is voor 
alle n<k dat dan Tk waar is. 

Als nu T, waar is dan volgt wegens (2) dat T, waar is. Opnieuw 
wegens (2) volgt nu dat T, waar is, enzovoort. We zullen aantonen dat 
inductie inderdaad een juiste bewijstechniek is. Veronderstel dat 
{T " |nEN} een aftelbare rij stellingen is met de volgende eigenschap- 
pen: (a) T, is waar, (b) voor alle k €N geïdt dat als Ta waar is 


voor alle n<k dan is T,, waar; dan volgt hieruit dat T„ waar is voor 


alle n EN. Immers als ait niet het geval was dan bestond er een j >0 
met T, onwaar, maar ie is waar voor alle n<j. Nu geldt j £ 1 wegens 
(a), maar nu leidt de veronderstelling tot een tegenspraak met (b) in 
het geval k = j. 

Bij een bewijs met inductie moet men ervoor zorgen dat dit correct 
wordt opgebouwd. Het schema op bladzijde 15 kan daartoe worden 
gebruikt. Als voorbeeld zullen we bewijzen dat 8-3” deelbaar is door 
9 voor alle neN. Het bewijs wordt gegeven met behulp van inductie. 
De bewering is waar voor n = 1 omdat 81-3! = 5 deelbaar is door 5. 
Veronderstel dat de bewering geldt voor alle n<k dat wil zeggen dat 
8-3" deelbaar is door 5 als n <k. 
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Het bewijs wordt gegeven met behulp van 
hitretio. de eerste regel 
De bewering is waar voor n= 1 omdat 


bewijs dat T; waar is 


Veronderstel dat de bewering waar is voor 
alle n<k, dat wil zeggen dat ... de inductiehypothese 


Dan bewijs dat Ty, waar is 
volgt uit inductie- 


hypothese 


mmm mmm mmm mmm ennen omm 


Dus geldt de bewering voor n= k. 


Op grond van inductie geldt de bewering 


dus voor alle n EN. | de laatste regel 


Nuis Bs ese toast be ore trg cotes 
en wegens de inductiehypothese is gk! -3K71 deelbaar door 5. Omdat 
ook 5x87! deelbaar is door 5 volgt dat gl -3% deelbaar is door 5. 


De bewering is dus waar voor n=k. 
Op grond van inductie geldt de bewering dus voor alle n EN, 


Tussen inductie en recursie bestaat een nauw verband. Recursie is een 
methode van definiëren van een functie f met behulp van een expressie 
die zelf f weer bevat. Een veel gebruikt voorbeeld is de functie 

fac: NN met 


fac(n) = als n = 1 dan 1 
anders n x fac(n-1) 


Als we bijvoorbeeld fac(3) met behulp van deze definitie uitrekenen 
dan krijgen we 


fac(3) = 3 x fac(2) 
= 3x 2x fac(1) 
= SRAT, 


Als we n! definiëren als nx(n-1) x(n-2)x...x1 dan kunnen we bewij- 
zen dat fac(n) = n! voor alle n €N. Waarschijnlijk is het geen verras- 


sing meer dat dit bewijs met inductie gaat. Zeker is fac(1) = 1 =1!, 
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dus de bewering geldt voor n= 1. Als we veronderstellen dat 
fac(n) = n! voor alle n <k dan is fac(k) = kx fac(k-1) = kx(k-1)! = 
k! ‘dus geldt de bewering voor n=k. Op grond van inductie geldt de 
bewering dus voor alle n €N. 

We geven nog een voorbeeld van een recursieve functie. De functie 
som:N xN > N wordt gedefinieerd door 


som(m,‚n) = als m=1 dan 
als n=1 dan 2 
anders succ{(som(m,‚n-1)) 


anders succ({som(m-l,n)) 


Na enig proberen blijkt dat som(m,‚n) = m+n voor alle m,n €N, maar 
een formeel bewijs met behulp van inductie vergt enige nauwgezetheid. 
We hebben hier te maken met twee argumenten m en n en de aftelling 

van de stellingen moet dus gebeuren op NxN. Op NxN is een orde- 

ning gedefinieerd door 


(m,n) c(m',n') desd 


m+n<m! +n! of als m+n = m'+n! dan m<m'. 


Met behulp van deze ordening kunnen we een bewijs met inductie uit- 
voeren. De bewering geldt voor het eerste element in de ordening (1,1) 
omdat som(1,1l) = 2 = 1+1. Veronderstel dat (j,k) # (1,1) en de bewe- 
ring geldt voor alle (m‚n)ec(j,k) dan 


som(j,k) = als j+1 dan succ{som(j,k-1)) 
anders succ({som(j-l,k)) 


Nu geldt (j,k-1)c(j,k) en (j-1,k)c (j,k) en dus is op grond van 
de inductiehypothese som(j,k-1) = som(j-1,k) =j +k-1. Dus is 
som(j,k) = som (j+k-1) = j +k voor j=1 en voor j>1. De bewering 


geldt dus voor (j,k) en op grond van inductie dus voor alle m‚nEN. 


STRINGS 


Met een string bedoelen we een eindige rij symbolen aa... waarbij 


elke a, een keuze is uit een of ander eindig alfabet XZ. In een string 
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mag hetzelfde symbool meer dan één keer voorkomen. Een voorbeeld 
van een string uit het alfabet Z = {0,1} is 001110. Het aantal symbo- 
len in een string noemen we de lengte van die string. De string 001110 
heeft lengte 6. De lege string geven we aan met een s. Deze string 
bevat geen symbolen en heeft dus lengte 0. We zullen de lengte van 
een string x aangeven met |x|. Dus |001110| = 6 en |e|= 0. 

De wiskunde die op strings van toepassing is, is heel eenvoudig. 
Eerst moeten we een alfabet specificeren. Dit is een niet-lege eindige 
verzameling van symbolen die in onze strings kunnen verschijnen. Als 
het lege symbool of de spatie in de strings moet kunnen voorkomen, 
dan moet dit symbool ook in ons alfabet voorkomen. Omdat 'niets' zo 
lastig weer te geven is gebruiken we voor het lege symbool het teken 
^. We schrijven dus 00A11lA01 in plaats van 00 11 01. Merk op dat 
het lege symbool zelf een string vormt met lengte 1 - het moet dus niet 
verward worden met de lege string. 

Als we een alfabet £ hebben gedefinieerd dan kunnen we vervolgens 
de verzameling van alle mogelijke eindige strings over het alfabet Z 
aangeven door x*. x* heeft altijd een aftelbaar oneindig aantal elemen- 
ten (zie Oefening 1.4). Als bijvoorbeeld x= {0,1} dan is een moge- 


lijke ordening van 2*: 
€‚0,1,00,01,10,11,000,001,010,... 


Deze ordening van de elementen van {0,1}* wordt de lexicografische 
ordening genoemd. We kunnen de gebruikelijke notatie uit de verzame- 
lingenleer gebruiken xe x* om aan te geven dat x een element van z* 
is en xt x* als dat niet het geval is. Uit de definitie volgt dat in 
ieder geval e€ x* voor alle verzamelinren Z. 

Als x€ x* een string met lengte m is dan kunnen we die weergeven 
met x = a,a,...a waarbij a,Eer, 1Sis<m. Als xe rx* een string ter 
lengte m is en y € Z* een string ter lengte n is dan wordt de concate- 
natie van x en y weergegeven door xy. Deze is gedefinieerd als een 
string met lengte m+n, waarbij de eerste m symbolen overeenkomen 
met de string x en de volgende n met y. Als dus x = aa ..a, en 
gr b bree bh dan is xy = a a.. anb Pt bt Concatenatie is asso- 
ciatief: (xy) z =x (yz). De lege string gedraagt zich als een eenheids- 
element ten opzichte van de concatenatie omdat ex = xe =x voor 


alle x € x*. 
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Als een string z EZ* van de vorm xy is met x,y € x* dan heet x 
een prefix vanz en heet y een postfix van z. Als bijvoorbeeld 
z = 00110 dan is e een prefix van z evenals 0, 001, 0011 en z zelf. De 
postfixen van z zijn €, 0, 10, 110, 0110 en opnieuw z zelf. 

Als x,2 E2* met z=wxy voor een paar w,y E€ r* dan heet x een 
substring van z. De substrings van z= 00110 zijn dus €, 0, 1, 00, 

01, 10, 11, 001, 110, 0011, 0110 en z zelf. 

Een (formele) taal L over een alfabet x wordt nu gedefinieerd als 
elke willekeurige deelverzameling van x*. Als L, en L, twee van derge- 
lijke talen zijn dan is hun concatenatie de taal LL, = {xy|x €L, yE L}. 
Als bijvoorbeeld L, = {01,0} en L, = {€,0,10} dan is LL, 3 
{01,0,010,00,0110}. Ook deze (verzameling) concatenatie is associatief 
maar niet commutatief. 

Voor elke taal L geldt dat Lí{e} ={e}L =L en dus is de singleton- 
verzameling {€} een eenheidselement voor de concatenatie van verzame- 
lingen. De singletonverzameling met als element de lege string is iets 
geheel anders dan de lege verzameling ø. Deze laatste gedraagt zich 
als een nul-element ten opzichte van concatenatie van verzamelingen om- 
dat LØ = ØL-= Ø voor elke taal L, 

Het resultaat van concatenatie van een taal L met zichzelf LL wordt 
geschreven als is, Deze definitie wordt gegeneraliseerd naar LP =- tEh, 
Lier iter 
notatie L* wordt vervolgens gedefinieerd als 


= p voor i >2. De Kleene insluiting van L, 


L is gedefinieerd als 


Een 

U L 

i=l 
en dus is L*=L" U Let ee vertegenwoordigt alle strings uit x* met 
lengte 2, g? vertegenwoordigt alle strings uit x* met lengte 3, enzo- 


voort. De verzameling strings over XZ met een lengte groter of gelijk 
één wordt aangegeven met Z“ en dus is 


+ a. + Ka 
Ere UE en Wist oirn E 


i=1 i=0 
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Bij veel van onze berekeningen zullen we functies op strings toe- 
passen en hierbij zullen de volgende functies in het bijzonder van pas 


blijken te komen: 
kop(x): 2* > I* 


met als definitie 


e als x= € 
kop(x) = 
a als x= ay,a€z,yEs* 


en evenzo 
staart: *>5* 


met als definitie 


e als Xx = € 


staart(x) = 
Sr TEEN ELT 


Elke x € X* kan dus geschreven worden als de concatenatie van kop (x) 
met staart(x). Als bijvoorbeeld x = 0111 dan is kop(x) = 0 en 
staart(x) = 111. Voor de functie staart staart schrijven we staart®, 
voor staart staart staart schrijven we staart”, enzovoort. De eenheids- 
functie staart? definiëren we als staart ax) = x voor alle x € 2*. We 


kunnen staart! met (i20) formeel recursief definiëren door 


ident als i= 0 


staart = 1 


staart staart" als iè 1 


waarbij ident(x) = x voor alle x. 
Als dus x=0111 dan is staart Xx) = 0111, staart(x) = 111, staart? (x) = 
14, staart? (x) z1 en staartt(x) = € voor i 24. 

Analoog aan kop en staart definiëren we de functies voet en top: 
x*>r* door 


€. asx=e 
voet(x) = 
a als x= ya,aE€YX,y E€ r* 
en 
e als « = € 
top(x) = 
y als x = ya,aEZ,y Er 
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Als x = 0111 dan is voet(x) = 1 en top(x) = 011. 


We definiëren vervolgens 


ident als x= 0 


top = 1 


top top als i > 0 


Concatenatie kunnen we beschouwen als een functie Z*x ĮJ*>Z*., Als 
dit voor de duidelijkheid nodig is zullen we concat(x,y) schrijven in 
plaats van xy. Dus bijvoorbeeld x= concat(kop(x),staart(x)) of 
x = concat (top (x), voet(x)). 

Stel Z en A zijn twee alfabetten. Als nu een functie f:Z*->A* vol- 


doet aan 
Fej = € 


en aan f(concat(x,‚x)) = concat(f(x),f(y)) voor alle x,y Ex* dan noe- 
men we f een homomorfisme. 

Als we een homomorfisme f:x*>At definiëren dan hoeven we alleen 
f(a) voor alle a€ Z te definiëren. Wegens de eigenschappen van een 
homomorfisme kunnen we dan f(x) bepalen voor elke x € X*. Beschouw 
bijvoorbeeld het homomorfisme linker:{0,1}*>{0,1,$}* gedefinieerd 
door linker(0) = 0$ en linker(l) = 1$. We weten dan dat 
linker(e) = €, linker(0) = 0$, linker(1) = 1$, linker(00) = 0$0$, 
linker(01) = 0$1$, linker(10) = 1$0$, linker(11) = 1$1$, linker(000) = 
0$0$0$, enzovoort. 

In het vervolg zullen we veel te maken krijgen met functies B” >B 
waarbij B ={0,1}*. In hoofdstuk 5 zullen we nagaan welke functies uit 
deze klasse berekend kunnen worden met behulp van een Turingmachine. 
Dit geldt in ieder geval voor kop, staart, voet, top en concat die we 
hiervoor beschreven. 

De functies kop en staart:B >B kunnen we als volgt definiëren: 


lI 
O m 


kop( e€) 
kop (0x) 
kop (1x) 


en 
staart(e) = € 
staart(0x) = x 
staart( 1x) = x. 
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Om nu bijvoorbeeld kop(y) te evalueren vergelijken we y met de strings 
€, Ox en 1x. Als y=e dan is kop(y) = £; als y met een 0 begint dan 
is y van de vorm 0x voor een of andere string xEB en dus is 
kop(y) = 0; is y van de vorm 1x dan is kop(y) = 1. 

De functies voet en top kunnen op een zelfde manier worden gedefi- 


nieerd: 
voet(e) = 
voet(x0) = 
voet(xl) = 1 
en 
top(€) = € 
top(x0) = x 
top(x1) = x 


Willen we echter in de definities van de functies voet en top de para- 


meters £, Ox en lx gebruiken dan moeten we ze recursief definiëren: 


voet( €) 


"o n 
am 
i 

8 

| 


voet(0x) = = € dan 0 anders voet(x) 


voet(lx) = als x = € dan 1 anders voet(x) 


en 


II 
Mm 


top (€) 
top(0x) = als x = € dan e anders concat(0,top(x)) 


top(lx) = als x = € dan € anders concat(1,top(x)) 


Dit soort recursieve definities van functies, waarbij alle mogelijke waar- 
den van de parameters worden aangegeven, zullen we in de volgende 


hoofdstukken nog regelmatig tegenkomen. 


GERICHTE GRAFEN 


Een gerichte graaf (ook wel digraaf genoemd naar het Engelse 'directed 
graph') G = (V,E) bestaat uit een eindige verzameling vertices (of 
knopen) en een relatie E op V. Een digraaf kan als volgt schematisch 
worden weergegeven: voor elke v€ V tekenen we een knoop ©) en 
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als (v,w) EE dan verbinden we het knooppunt v met het knooppunt 
w door middel van een pijl zoals in Figuur 1.4. 


Oe 


Figuur 1.4 


Figuur 1.5 geeft de digraaf G, = (V, ‚E‚) weer met Bin {v‚w‚x} 
en E, = {((v,w),(v,xX),(w,x),(x,v),(%,x)}. 


Figuur 1.5 


Als voor een bepaalde digraaf G = (V,E) geldt dat (v,w)€E 
dan noemen we dit een kant of verbinding van v naar w in G. Als er 
een rij knopen bestaat v =v ,V,,...,v. = w metn èO zo dat 


07 <9 n 


(vi V )EE voor i= 1,2,...,n dan is er een gericht pad ter lengte 


n vin naar w in G. Als er een pad tussen v en w bestaat dan bete- 
kent dit dat ofwel v = w, ofwel w is vanuit v bereikbaar door in het 
diagram een rij gerichte kanten te volgen. 

Als G = (V, E) een digraaf is, dan heet elke digraaf (V! ,E' ) met V's V 
E' CE een subgraaf van G. In Figuur 1.6 zijn vier gerichte subgrafen 


van de digraaf G, uit Figuur 1.5 weergegeven. 


© 


(a) (b) (c) (d) 


Figuur 1.6 
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Twee gerichte subgrafen heten disjunct als zij geen knooppunten 
gemeen hebben. In Figuur 1.6 zijn (b) en (c) de enige twee disjuncte 
gerichte subgrafen. 

Als V = {v >V seee Vn? en G= (V,E) is een digraaf dan kunnen 
we G ook weergeven met behulp van een nxn Boole'se matrix Mg die de 
nabijheidsmatrix (Engels: adjacency matrix) wordt genoemd. M, wordt 


G 
gedefinieerd door 


T als (vivi) EE 
Mo lij] wa 
F anders 


(T staat voor True of Waar en F voor False of Onwaar.) 
Als we bijvoorbeeld de elementen van Vi alfabetisch rangschikken dan 


kan de digraaf uit Figuur 1.5 ook voor de volgende Boole'se matrix 
worden weergegeven: 


3 
Hd 3 
Me: 


In computerprogramma's worden digrafen vaak op deze manier weer- 
gegeven. Als het gaat om een grote verzameling knooppunten dan wordt 
de matrix erg groot en kan een van de vele methoden worden gebruikt 
voor het opslaan van zogenaamde 'schaarse' matrices, (zie Oefening 
1.21). 

Als G = (V,E) een digraaf is en ve V dan noemen we het aantal 
uitgaande kanten vanuit v de uitgraad van v. Het aantal inkomende kan- 
ten in v heet de ingraad. Ingraad en uitgraad zijn functies vet ef 
is de verzameling van niet-negatieve gehele getallen). De functies wor- 
den als volgt gedefinieerd: 


#{(v,w) | (v, w) EE} 
#{(w,v)| (w‚v) EE} 


uitgraad(v) 


ingraad(v) 
Vervolgens kunnen we de functie graad: VZ definiëren door 


graad(v) = uitgraad(v) + ingraad(v) 


24 Hoofdstuk 1 


Omdat elke kant zijn oorsprong heeft in een knoop en ook leidt naar 
een knoop geldt de volgende stelling: 


Stelling 1.3 


Voor elke digraaf G = (V,E) geldt 


(1) 2. uitgraad(v) = X ingraad(v) = #(E) 
v EV VEY 


(2) 2, graad(v) = 2#(E) 
v EV 


Voor de digraaf G, kunnen de functies uitgraad, ingraad en graad als 
volgt in een tabel worden weergegeven: 


uitgraad ingraad graad 


Bij veel toepassingen is het zinvol de kanten in een digraaf te labe- 
len met labels geselecteerd uit een verzameling labels L. Een gelabelde 
digraaf is dan een digraaf G = (V,E) te zamen met een labelfunctie 
l:E>L. Een gelabelde digraaf wordt schematisch weergegeven zoals een 
ongelabelde digraaf, maar met vermelding van het label l(e) bij elke 
kant e. De digraaf G kan bijvoorbeeld worden gelabeld met behulp van 
een functie l:E > Z* met als definitie 


I((v,w)) = uitgraad(v) + ingraad(w) voor alle (v‚w)E E. 


Het resultaat is schematisch weergegeven in Figuur 1.7. 

Voor het representeren van een gelabelde digraaf G= (V,E) met 
een labelfunctie l:E>L binnen de computer, gebruiken we meestal een 
labelmatrix. Om te beginnen ordenen we de elementen van V bijvoor- 
beeld als Vy Vyote Vi De i-de rij en de j-de kolom bepalen dan het 
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Figuur 1.7 


label dat hoort bij de kant (vi ‚v.) als deze tenminste bestaat. Anders 
bevat het element een speciaal teken wg L om aan te geven dat v; en 
v. niet direct verbonden zijn. De labelmatrix Mg kan formeel worden 
gedefinieerd als een nxn matrix met elementen uit LU {w} met als waar- 


den 

W als Wv EL 

Mçlijl = ; 
Wv) anders 


Voor het weergeven van de gelabelde digraaf uit Figuur 1.7 gebruiken 
we w = -1 en we ordenen de knooppunten alfabetisch. De labelmatrix 


wordt dan 
et E 5 
-1 -1 4 
n eo OE 
GRAFEN 


Binnen gerichte grafen heeft elke kant of verbinding tussen twee kno- 
pen een richting: de kant (v,w) loopt van v naar w. Ook geldt omdat 
de kanten zijn gedefinieerd als een deelverzameling van V xV dat er 
hoogstens één verbinding kan lopen tussen elk knooppunt v en elk 
ander knooppunt w. Deze eigenschappen zijn in veel gevallen nuttig, 
maar soms vormen zij een te grote beperking. 

We definiëren daarom een graaf G= (V,E) als een structuur die 
bestaat uit een eindige verzameling knooppunten V en een verzameling 
verbindingen of kanten E. Elke kant e €E verbindt twee knooppunten 
die we de eindpunten van e zullen noemen. Een graaf wordt op bijna 


dezelfde manier als een digraaf schematisch weergegeven. In figuur 1.8 


26 Hoofdstuk 1 


Figuur 1.8 


hebben we een graaf getekend met vier knooppunten A, B, Cen D en 


zes kanten e,» e,» nPE eg 


bij de kant e5 zijn de twee eindpunten gelijk. Als een kant e de knopen 


Twee kanten (e, en e, ) verbinden A en B en 


v; en v, als eindpunten heeft dan geven we die kant ook wel door 


v S V,. Een kant met identieke eindpunten noemen we een lus en twee 
kanten die dezelfde eindpunten hebben noemen we parallel. Het voor- 
beeld in Figuur 1.8 heeft twee parallelle kanten en één lus. 

De graad van knoop vE€V, graad(v) is het aantal malen dat v een 
eindpunt is voor een kant. Zo is graad(A) = 3, graad(B) = 6, 
graad(C) = 2 en graad(D) = 1. Elk knooppunt v met graad(v) = 0 
noemen we geïsoleerd. Elke kant draagt één eenheid bij aan de graad 
van zijn eindpunten. Overeenkomstig met Stelling 1.3 geldt dus voor 


elke graaf G = (V,E) 


> graad(v) = 2#(E) 
vEV 


Een complete graaf op V bezit precies één kant tussen elk paar 
verschillende knopen v,w€V. Als K n een complete graaf is op n kno- 
pen, dan heeft elke knoop graad n- 1 en heeft de graaf totaal n(n-1)/2 
kanten. K‚ heeft geen lussen en geen parallelle kanten. 


Een pad in een graaf G is een rij kanten ee zodanig dat 


geene 
(1) e; en e, een gemeenschappelijk eindpunt hebben en (2) als e; 


niet het eerste en niet het laatste eindpunt is dan heeft e; zijn ene 


eindpunt gemeen met ej; en zijn andere met ei M Figuur 1.8 is 


"E 1 


\ Aen è 
eee, een pad evenals ejeç€,€}» maar bijvoorbeeld e-€,€} is geen pad. 
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Als e‚e -…-E,, een pad is en k heeft een eindige waarde, dan zeggen 


i. 2 
we dat het pad lengte h heeft. We kunnen zo'n pad als volgt beschrij- 
ei, € e 
hi em em Vie Vi. Het pad begint bij Vo en eindigt bij 
Vi: Het pad verbindt Vo EN Vije In het voorbeeld is e‚e‚e, een pad 


dat A en C verbindt. 

Een circuit is een pad met het eindpunt gelijk aan het beginpunt. 
Een pad heet enkelvoudig als geen knooppunt er meer dan één keer 
in voorkomt. Een circuit heet enkelvoudig als alleen het begin/eindpunt 
er twee keer en niet meer dan twee keer in voorkomt. Het voorbeeld 
ee, als enkelvoudige paden tussen C en 


D. De paden e‚e‚e,e‚ en e, e,- €, zijn niet enkelvoudig. Verder is 


een enkelvoudig circuit, maar eze, e‚e, is dat niet. Een graaf 


in Figuur 1.8 bevat eze, e‚ en 


e; €, 83 
zonder circuits heet circuit-vrij. 

Een graaf G heet verbonden als er tussen elke twee knooppunten uen v 
een pad in G bestaat dat deze knooppunten verbindt. Een verbonden, 


circuit-vrije graaf heet een boom. De graaf in Figuur 1.9 is een boom. 


Figuur 1.9 


Stelling 1.4 


Als G= (V,E) een graaf is dan zijn de volgende eigenschappen equiva- 
lent: 
(1) G is een boom 
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(2) G is circuit-vrij, maar het toevoegen van een kant leidt tot een 
circuit 

(3) G bevat geen lussen en tussen elk paar v,w E€ V bestaat er een 
uniek pad 

(4) G is verbonden, maar het verwijderen van een kant heft deze 
eigenschap op 

(5) G is circuit-vrij en heeft #(V)- 1 kanten 

(6) G is verbonden en heeft #(V) - 1 kanten 


Bewijs 

(1) = (2): G= (V,E) is een boom en dus verbonden en circuit-vrij. 
Stel e €E wordt als verbinding tussen v en w toegevoegd. Veronderstel 
dat vw omdat anders een lus zou voorkomen. Omdat G verbonden is 
was er al een pad tussen v en w; het toevoegen van e moet dus leiden 
tot een circuit. 

(2) >» (3): G is circuit-vrij en bevat dus geen lussen. Beschouw nu 
v‚wEV. Als er meer dan één pad zou zijn tussen v en w dan bevat G 
een circuit. Als er geen pad zou zijn tussen v en w dan leidt dit tot 
een tegenspraak omdat het toevoegen van de kant v- w een circuit moet 
vormen. Dus moet er een uniek pad zijn tussen v en w. 

(3) > (4): Omdat er voor elk paar v‚wE V een pad tussen v en w 
loopt is G verbonden. Veronderstel nu dat de kant v-w wordt verwij- 
derd. Er kan dan geen pad meer bestaan tussen v en w omdat de ver- 
wijderde kant het unieke pad vormde tussen v en w. Door het verwij- 
deren van een kant is G dus niet langer verbonden. 

(4) > (1): We moeten aantonen dat G circuit-vrij is. Dit is waar, 
want als G een circuit had dan zou na het verwijderen van een wille- 


keurige kant uit dit circuit G toch nog verbonden zijn. 


Nu we de equivalentie van de eigenschappen (1), (2), (3) en (4) 
hebben aangetoond, kunnen we deze eigenschappen gebruiken om aan 
te tonen dat de eigenschappen (5) en (6) eveneens equivalent zijn en 
slechts gelden als G een boom is. We gebruiken inductie naar #(V). 
Allereerst tonen we aan dat elke boom G= (V,E), #(V) -1 kanten of 
takken moet hebben. Voor #(V) =1 is dit zeker waar, dus veronder- 
stellen we #(V) 22. Beschouw het geval #(V) =n en veronderstel dat 
de te bewijzen bewering waar is voor alle bomen met minder dan n 


Wiskundige Basisbegrippen 29 


knooppunten. Omdat G een boom is, is G circuit-vrij en verbonden. 
Als we een tak uit G verwijderen dan wordt G gesplitst in twee delen 
G, = (VE) en G, = (V, E,) die elk op zich verbonden en circuit- 
vrij zijn. G ‚en G, zijn dus beiden bomen en hebben dus op grond van 
de inductieveronderonderstelling respectievelijk # (V, )- t'en #(V,)-1 
takken. Totaal bevat G dan CV )-1) + ŒV, )-1) +1 = # (V, U vn t's 
#(V)-1 takken en hiermee is het bewijs door inductie geleverd. Dus 
geldt (1) > (5) en (1) > (6). 

De volgende stap in het bewijs bestaat uit het aantonen dat uit het 
feit dat G verbonden is en #(V)-1 kanten heeft volgt dat G circuit- 
vrij is en omgekeerd dat als G circuit-vrij is en #(V)-1 kanten heeft 
dat G dan noodzakelijkerwijs verbonden is. Deze beweringen zijn zeker 
waar voor #(V)=1, dus veronderstellen we dat #(V) > 2. 

Veronderstel dat G verbonden is en #(V)-1 kanten heeft. Als G 
circuits bevat dan kunnen we kanten verwijderen terwijl G toch verbon- 
den blijft. Als G geen circuits meer bevat en dus geen kanten meer 
kunnen verwijderen dan hebben we een verbonden graaf zonder circuits 
en dus een boom. We hebben echter zo juist bewezen dat een boom 
#(V)-1 kanten of takken heeft en hieruit moeten we concluderen dat 
we geen kanten uit G kunnen verwijderen, zo dat G toch verbonden 
blijft. G is dus circuit-vrij. 

Laten we nu veronderstellen dat G circuit-vrij is en #(V)-1 kanten 
bevat. Kies nu een willekeurige kant e€E en verleng deze tot een 
pad door steeds een kant aan een eindpunt toe te voegen. Omdat G 
cireuit-vrij is kan dit toevoegen maar een eindig aantal malen gebeuren 
en krijgen we een pad met twee eindpunten, ieder met graad 1. We 
verwijderen nu één van die eindpunten en de bijbehorende kant uit G. 
Het resultaat is een graaf A (V, E, ) met FLV A #(V)-1 en 
#(E,) = #(E)-1. Ook deze graaf is circuit-vrij en met behulp van induc- 
tie kunnen we aantonen dat hij verbonden moet zijn. Dus moet G ook 
verbonden zijn. Hiermee hebben we bewezen dat (5) » (6). 

Omdat per definitie geldt dat (5) =(1) en (6)=1 is hiermee de hele 
stelling bewezen. 


Een graaf G! = (viel) is een subgraaf van een graaf G= (V,E) 
als y! cVenE IE, Als Gt alle knooppunten van G bevat dan heet g? 
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een opspannende subgraaf van G. Als daarbij G! ook een boom is dan 
heet G! een opspannende boom van G. 

Stel we hebben een graaf G= (V,E) en een kostenfunctie c:E>R 
die een positief reëel getal toekent aan elke kant in G. We kunnen deze 
situatie in een diagram weergeven door elke kant in de graaf te labelen 
met zijn bijbehorende kosten. In Figuur 1.10 wordt daarvan een voor- 
beeld gegeven. We definiëren de kosten van zo'n graaf als 


c(G) = XZ c(e). De kosten van de graaf in figuur 1.10 bedragen dus 
eEE 
21. Een veel voorkomend probleem is het bepalen van een verbonden 


opspannende subgraaf G! van een dergelijke graaf, zodanig dat eel) 
minimaal is. Duidelijk is dat G! circuit-vrij moet zijn omdat we anders 
de kosten zouden kunnen verminderen door een kant te verwijderen 

terwijl de subgraaf toch verbonden blijft. Gİ is dus een boom en heet 
de minimale opspannende boom (Engels: Minimal Spanning Tree (MST)) 
van G. Er bestaan verschillende algoritmen voor het construeren van 


een MST. Het volgende algoritme is ontworpen door Kruskal (1956). 


Figuur 1.10 


Zij G= (V,E) de graaf. We kunnen ervan uitgaan dat G geen 
parallelle kanten bevat omdat we anders deze kanten op de goedkoopste 
na zouden kunnen verwijderen. Het algoritme ter bepaling van de in de 


boom op te nemen kanten werkt nu als volgt: 
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begin F +0; 

zolang #(F) <#(V)-1 doe 
selecteer e€E\F zo dat 
(1) e geen circuit vormt samen met al in F opgenomen kanten 
(2) c(e) zo klein mogelijk is terwijl aan (1) voldaan is 
F:= F U{e} 

eindezolang; 

output(F) 


einde 


Uit de graaf in Figuur 1.10 worden door dit algoritme de kanten 
A-E, E-D, D-C, C-F en A-B geselecteerd. Op grond van stelling 1.4 
leidt Kruskal's algoritme tot een opspannende boom. Het is niet moeilijk 
aan te tonen dat de bijbehorende kosten minimaal zijn. Veronderstel 
e selecteert met #(V) =n, 


tarn Ak 
terwijl c(e,) <ce(e,) Kie Sc(e,_,)- Stel verder dat T de goedkoopst 


dat het algoritme de kanten e,,e 
mogelijke opspannende boom is en dat T de verzameling kanten E bevat. 
Neem nu aan dat Ef (e,„e.- „en: Dit betekent dat er minstens 
één index k moet bestaan met ek EE. E is dan bijvoorbeeld gelijk aan 
{e€ Kei err fk fkr eofn- } en wegens de keuze die wordt 
gedaan in Kruskal's algoritme geldt cle) S min {e(f)|k< j <n}. E U {e} 
moet noodzakelijkerwijs een circuit bevatten waarin ek voorkomt. Dit 
circuit bevat ook minstens één fi met k<j<n. Vervang nu f door e> 
dat wil zeggen beschouw (ENIAD U lep}. Deze verzameling kanten 
vormt weer een boom, maar heeft kosten <c(T). Omdat c(T) al mini- 
maal was moeten de kosten nog steeds gelijk aan c(T) zijn en dus moet 
cf) = clep). Deze zelfde redenering geldt voor alle elementen 

fk’ lis pe inaa Zij kunnen stuk voor stuk vervangen worden door 


elementen uit epek} tEn- En dus kunnen we concluderen dat 
n-1 
c(T) = Ò c(e;) 
i =1 


Het algoritme van Kruskal voor het genereren van een minimale op- 
spannende boom is één van de vele voorbeelden van algoritmen voor 
grafen. Goede overzichten van dergelijke algoritmen staan in Graphs 
Algorithms (Even, 1979) en in The Design and Analysis of Computer 
Algorithms (Aho et al., 1974). 
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Bij veel toepassingen zijn de namen van de knooppunten in een graaf 
eigenlijk niet interessant. In figuur 1.11 kunnen we de grafen (a) en 
(b) verschillend noemen, evenals de grafen (b) en (c), maar (a) en 
(c) zijn in feite niet verschillend. Als we in (a) de knooppunten 
A,B,C,D herlabelen als D,B,C,A dan zijn beide grafen identiek. Twee 
grafen die alleen in de namen van hun knooppunten verschillen heten 
isomorf. De formele definitie luidt: twee grafen G, = (V ‚E‚) en 
G, = (Vv, „E, ) heten isomorf desd als er bijecties f V, > > V, en 
g: E, > PE beden? zodanig dat voor elke kant u i, in G, er een 
imi f(u) gte) f(v) in G, bestaat. Isomorfisme is een Bie G 
relatie op de verzameling van alle grafen. 

Het is niet altijd even gemakkelijk vast te stellen of twee grafen 
isomorf zijn. Twee isomorfe grafen moeten in ieder geval evenveel kno- 
pen en kanten hebben. Verder moet voor elke bijectie f: V, > A die 
wordt gebruikt om het isomorfisme vast te stellen, gelden dat 
graad(v) = graad(f(v)) voor alle v EV. Er bestaan nog andere soort- 
gelijke eigenschappen waarmee het aantal te beschouwen bijecties kan 
worden beperkt. In het slechtste geval echter kan het toch voorkomen 
als V, en V, elk n knopen hebben, dat we alle n! mogelijke bijecties 
moeten bekijken om het gezochte isomorfisme te bewijzen. Helaas is er 
op dit moment, ondanks veel onderzoek, geen enkel snel algoritme voor 
het vaststellen van isomorfisme van grafen. 


B) © 


(a) (b) 


Figuur 1.11 
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GÖDEL NUMMERING 


Bij elke aftelbare verzameling A kunnen we een één-eenduidige functie 
vaststellen van A op de verzameling van de natuurlijke getallen N. Elk 
element x € A kan dus worden gecodeerd als een uniek getal g(x). Het 
zou nu kunnen voorkomen dat we een codering g hebben ontworpen 

met een waardebereik dat een deelverzameling is van N. In zo'n geval 
willen we voor elke i €N kunnen vaststellen of i voorkomt in het waar- 
debereik van g en als dat zo is dan willen we g tt) kunnen bepalen. 
Een ordening van de elementen van A kunnen de definiëren door af te 
spreken dat x€A voorafgaat aan yE A desd als g(x) < g(y). De eerste 
n elementen van A kunnen we dan met behulp van het volgende algo- 


ritme bepalen. 


zolang j<n doe 
als i in het waardebereik van g voorkomt 
dan drukaf (g WO); j:=i+1 
eindeals ; 
i:=i+1 


eindezolang 


A = {0,1}* kunnen we als volgt coderen. Voor elke x {0,1}* 
definiëren we de gehele waarde g(x) door: 


1 desd x 


€ 


An ti 
P, “PX. * Ph als x = b,b,...bÐņ„ met b, € {0,1} 


waarbij 1 <i <n, Pi het i-de priemgetal voorstelt en a,=b‚+l. 


Als bijvoorbeeld x de string 1100 voorstelt dan is 
gl = 22x3?x5x7 = 1260. 

De functie g is een voorbeeld van een Gödel nummering van de ver- 
zameling {0,1}*. Een Gödel nummering van een verzameling is een toe- 
wijzing van natuurlijke getallen aan de elementen van de verzameling, 


die voldoet aan de volgende voorwaarden: 


(1) Bij verschillende elementen horen verschillende Gödelgetallen (g 


is dus een één op één functie); 


34 Hoofdstuk 1 


(2) Het Gödelgetal van elk element kan met behulp van een algoritme 
worden berekend (de functie g is dus effectief berekenbaar). 
(3) Van ieder natuurlijk getal kan worden vastgesteld of het een 
Gödelgetal van een element uit de verzameling is en als dit het 
geval is dan kan dit element ook worden bepaald (ook ge is 


effectief berekenbaar). 


In dit boek zullen we steeds Gödelnummering gebruiken met de vol- 
gende eigenschap: als m<n en g(x) is deelbaar door Fa dan is g(x) 
ook deelbaar door P m' Het algoritme voor het decoderen van Gödel- 
getallen is dan vrij eenvoudig. 

In bovenstaand voorbeeld is de functie g inderdaad een één op één 
functie omdat elk geheel getal maar op één manier in priemfactoren ont- 
bonden kan worden. Het waardebereik van g bevat het getal 1 en 
verder alle gehele getallen die voor een of andere n een ontbinding in 
priemfactoren van de vorm p)! x py? w sex p” hebben, met 
a, € {1,2} voor 1<i<n. De waarden van g kleiner of gelijk 30 zijn dan 
1,2,4,6,12,18 en 30 en daarbij behoren de strings €e,0,1,00,10,01,000. 
Merk op dat de ordening die we verkrijgen met de Gödelnummering niet 
gelijk is aan de eerder beschreven lexicografische ordening. 

De Gödelnummering is een geschikte coderingstechniek en we illustre- 
ren dit met nog een voorbeeld. Zij T de verzameling van alle grafen 
met ongelabelde knooppunten. In Figuur 1.12(a) is een element van 
getekend met vier knopen en vijf kanten. T bevat precies één graaf 
voor elke equivalentieklasse onder isomorfisme. We kunnen bewijzen dat 
T aftelbaar oneindig is door aan elke graaf GET een Gödelgetal g(G) 
toe te kennen. Allereerst kunnen we de knooppunten van G labelen 


met P} >P >+ +P en een mogelijk Gödelgetal wordt dan bepaald door 
k k k 
E EET KP 


waarbij ki voor 1<i<n wordt berekend met behulp van het volgende 
algoritme: 
k;:= 1; 
voor j van 1 tot n doe 
e:= aantal kanten tussen p; en P; 
aa e 
ki: ki xp; 
eindevoor 
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Dus k, =1 geldt desd als de knoop met label Pi geisoleerd is. 
Als we de graaf in figuur 1.12(a) labelen zoals in figuur 1.12(b) 
dan is het erbij behorende getal: 
e e 5237 = 2954300 „56 7 


Behoudens isomorfismen bestaat er maar één graaf met een bepaald 
getal als we de hierboven beschreven constructie gebruiken. Elke graaf 
kan echter wel op n! verschillende manieren worden gelabeld als hij n 
knooppunten heeft, afhankelijk van de wijze waarop we de priemgetallen 
P‚»Pj»-*->P‚, aan de knooppunten toewijzen. Om de Gödelnummering toch 
uniek te maken definiëren we g(G) als de kleinste van de n! mogelijke 
uitkomsten. Gemakkelijk kan worden gecontroleerd dat g inderdaad een 
één op één functie is. 

Gödelnummering is een handige coderingstechniek die het mogelijk maakt 
verschillende discrete structuren zoals grafen voor te stellen met behulp 
van gehele getallen. In het vervolg van dit boek zullen we daarom onze 
aandacht vooral richten op functies gedefinieerd over de natuurlijke 
getallen. We zullen daarbij gebruik maken van de binaire of tweetallige 
notatie van die getallen door middel van een string in {0,1} * en ons 
onderzoek zal daarom ook betrekking hebben op berekenbare functies 


over de verzameling B = {0,1}. 


5 
(a) Ongelabeld (b) Gelabeld 


Figuur 1.12 


OEFENINGEN 


1. Als het beschouwde universum de verzameling positieve gehele getal- 
len kleiner dan 20 is, som dan de elementen op van de volgende ver- 


zamelingen: 


(a) {x|x+2 <10} U {x|x is priem}, 
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(b) {alt= 42}, 
Ce tra ett, 


(da) {x|3x < 20}\{x|x is even}, 


. Zij A een eindige verzameling. Toon aan dat #024) = WA). 


. Laat zien dat Q, de verzameling van de rationale getallen, aftelbaar 


oneindig is. 


. Laat zien dat als > een eindig alfabet is, dat dan X* aftelbaar on- 


eindig is. 


. Als RcAxN een relatie is dan is de inverse ge een relatie in 


B xA gedefinieerd door 


R`! = {(b,a)|(a,b) ER} 

(a) Bewijs dat (RÍ y! =R; 

(b) Aan welke voorwaarden moet R voldoen opdat R! een totale 
functie is? 

Als A=B en R dus een relatie op A is, toon dan aan dat 

(c) R is reflexief desd als R`! reflexief is; 

(d) R is symmetrisch desd als R`! symmetrisch is; 


(e) R is transitief desd als R`! transitief is. 


. Toon aan dat de equivalentieklassen die worden gedefinieerd door 


een equivalentierelatie R op een verzameling A, deze verzameling 
partitioneren in een aantal disjuncte niet-lege verzamelingen. [Hint: 
a is niet-leeg omdat a€a; beschouw nu a en ben laat zien dat als 
anb #0 dan a=b.] 


‚ Laat zien dat als R, en R, relaties op A zijn dan geldt 


(a) R, is reflexief impliceert dat R, U R, is reflexief; 

(b) R, en R, zijn reflexief impliceert dat R, N R, is reflexief. 
Blijven deze beweringen waar als we 'reflexief' overal vervangen 
door 'symmetrisch'? En hoe zit het bij vervanging door 'transitief' 
en bij vervanging door 'antisymmetrisch'? 


. Zij R een relatie in A xB en S een relatie in B xC. De compositie 


SFR van deze twee relaties is gedefinieerd als de relatie in A x C met 


10. 


ike 


12. 


13. 
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SR = {(a,c) er bestaat een bEB met (a,b)ER en (b‚c) ES} 


(a) Bewijs dat compositie een associatieve operatie is. 
(b) Als S en S beide totale surjectieve functies zijn, bewijs dan dat 
SR ook een totale functie van A op C is. 


. Laat zien hoe een relatie RcRxR kan worden weergegeven door 


middel van een verzameling punten in het Cartesische vlak. Als de 

lijn tussen de punten (x, Y4) en ey) een deelverzameling van 

is voor alle punten sy) ER en ey) € R dan heet R een con- 
vexe verzameling. Teken de volgende relaties in een Cartesisch 


coördinatenstelsel en geef aan welke een convexe verzameling zijn. 


(a) R = {(x,y)|x+y>2,x>0,y 20} 


(b) S = {(x,y)| y <2x+4, y< 4-2x,x +y? >4,y >0} 


Welke van de volgende functies R > R zijn surjectief en welke zijn 
injectief of één op één? Geef vervolgens aan welke functies dus 
bijectief zijn. 


(a) cuublx) 


i 
ès 


(b) mod(x) 


(c) sin(x) 


(d) exp(x) 


lI 
D 


1 als xw = 0 


(e) rec( Xx) 
1/x als x # 0 


Definieer, gebruikmakend van de definities uit opgave 10, zo een- 


voudig mogelijk exp oec en rec geuub gmod. 


Laat zien dat f:A>B surjectief moet zijn, wil fB >A een 
totale functie zijn en dat fn geen functie is als f niet injectief is. 
Bewijs vervolgens dat f een bijectie is dan en slechts dan als f m 
een totale functie is. Bepaal de inverse functies van de bijecties 


uit opgave 10. 


Bewijs met inductie dat 3+! + 47n+ 


alle nEN. 


deelbaar is door 7 voor 
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15. 


16. 


AE 


18. 


19. 
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Bewijs met inductie dat Ss, eef ree eon n gelijk is aan 
n(n+1)(2n+1)/6 voor alle nEN. 

Zij C, a od n°. Bereken C‚»C, en C} en maak een 
veronderstelling over een formule voor C° Bewijs de juistheid van 
de veronderstelde formule vervolgens met inductie. [Hint: probeer 


een verband te vinden tussen Ch an 1+2 +...+ Nn (n+1y/2.] 


Bekijk onderstaande recursieve functiedefinities. Probeer een een- 
voudige formule voor elke functie te vinden en bewijs die met in- 
ductie. 


(a) sq:N >N met sq(x) = als x= 1 dan 1 
anders sq(x-1)+2x-1 


(b) mult:N xN>N met mult(x,y)= als x=1 dan y 
anders mult(x-1, y) + y 


(c) macht:N x N>N met macht(x,y) = als x = 1 dan 1 
anders mult(macht(x,y-1),x) 


Toon aan dat het aantal onderscheidbare partiële functies N >N niet 
aftelbaar is. 


Z* is de verzameling van niet-negatieve gehele getallen. Toon aan 


dat lengte: x*>Z’ edefinieerd door 
g g 


0 als x= € 
lengte(x) = 
1 + lengte(y) als x= ay,a € Z,y € X“ 
voldoet aan lengte(x) = |x| 


Gebruik deze recursieve definitie van de functie lengte om te 


bewijzen dat lengte(xy) = lengte(x) + lengte(y) voor alle x,y €Z*. 


á Aaa a š x æ 
Formuleer een recursieve definitie van de functie rev:Y > Y 


zodanig dat als x = a,a,...a, met aE voor T: 1,2: n dün 


is rev(er sad Ace Ob 
Ani 1 
Bewijs met behulp van de recursieve definities van lengte en rev 


dat lengte(rev(x)) = lengte(x) voor alle strings zer”. 


Als L, = {a,bc,a} en L, = {e‚bee,a} bepaal dan Lį L, \L5L, 


20. 


21. 


22. 


23. 


24. 
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Maak gebruik van de definitie van lengte uit opgave 17 om te 
bewijzen dat staart'(x) =€ desd als top (x%) = € desd als 


lengte(x) S i. 


M heet een schaarse matrix als de meerderheid van haar elementen 
gelijk is. In dat geval kan M worden voorgesteld door middel van 
een lijst van tripels die de onderling wel verschillende elementen 
representeert. Elk tripel bestaat uit de rij- en de kolomindex en 
de waarde van een element. Laat zien dat als M een m xn matrix is 
met geheeltallige elementen, dat dan deze wijze van voorstellen een 
besparing oplevert als 3k <mn, waarbij k het aantal onderling ver- 
schillende elementen is. Wanneer is sprake van een besparing als 
de waarden reëel zijn? [Bedenk dat een reëel getal twee woorden 
geheugenopslagruimte gebruikt. ] 

Als Mg de nabijheidsmatrix is van een digraaf met n knopen en m 
kanten, hoe kan deze dan efficiënt worden opgeslagen als m aanmer- 


kelijk kleiner is dan n? 


Een knoop v in een graaf G= (V,E) met graad 1 heet een blaad- 
je. Als #(V)>1 en G is een boom dan bevat V minstens twee 


blaadjes. Bewijs dit. 


Een pad in een graaf G = (V,E) waarin elke kant uit E precies 
één keer voorkomt heet een Eulerpad. Bewijs dat G een Eulercircuit 
bevat desd als 

(a) er geen knooppunten met oneven graad voorkomen, óf 


(b) als precies twee knopen oneven graad hebben. 


Als gegeven is een boom T = (V,E) met V= {1,2,...,n} dan 


wordt met behulp van de volgende procedure een string w‚E€ par 


T 
uit T geconstrueerd. 
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begin i:= 1; 
zolang i<n-2 doe 
begin 
bepaal j €V waarbij j het kleinste gehele getal is waarvoor geldt 
j is een blaadje; 
verwijder j en de bijbehorende tak e uit T; 
het i-de element uit de string Wr krijgt nu de waarde van het 
andere eindpunt van e; 
i:= i+1 
eindezolang 
einde 


Bepaal de string uit {1,2,3,4,5,6} die door middel van deze 
procedure wordt gegenereerd uit de boom in figuur 1.13. Beschrijf 
vervolgens een procedure die uit een string w€ {1,2,... at 
een boom T voortbrengt met w = Wr: Pas deze procedure toe op 
de string 1123. 

Toon aan dat er een een-eenduidige relatie bestaat tussen bomen 
met knopen K = {1,2,...,n} en strings in ein Bewijs nu de 
volgende stelling van Cayley: het aantal verschillende opspannende 
bomen dat kan worden geconstrueerd over n verschillende knoop- 
punten is n°. 

Toon aan dat de functie g:T>N die in dit hoofdstuk als een 
Gödelnummering werd gedefinieerd, inderdaad één op één (injectief) 
is. Bereken g(G) voor de graaf in figuur 1.13. Welke eigenschap 
moet een Gödelgetal hebben opdat de graaf een boom is? 


Figuur 1.13 
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Tempt me no more; for I Verzoek mij niet meer; want ik 
Have known the lightning's hour, Kende het uur van het weerlicht, 
The poet's inward pride, De innerlijke trots van de dichter, 
The certainty of power. De zekerheid door macht verschaft. 


Cecil Day Lewis 
Tempt me no more 


DE FORMELE DEFINITIE 


Teruggrijpend naar onze informele beschrijving in de inleiding kunnen 

we nu een Turingmachine (TM) definiëren als een 6-tupel 

M= (Q, Z,T,P,qo: F) met 

(1) Q is een eindige verzameling toestanden, 

(2) Z is een eindige verzameling symbolen. Een symbool wordt weerge- 
geven door ^ en heet het lege symbool. 

(3) TSEZ MA} is de verzameling van invoersymbolen, 


(4) P is een programma en dit is een partiële functie 
(Q\F)x2 > Qx Z x{L,R,0} , 


(5) do EQ is de begintoestand 


(6) FSQ is de verzameling van eindtoestanden. 


Symbolen uit 2 kunnen op een tape voorkomen, dat wil zeggen ook 
symbolen die niet het lege symbool zijn en die niet in het invoeralfabet 
voorkomen. Deze symbolen heten hulpsymbolen en het bijbehorende 
hulpalfabet is gedefinieerd als 2\T\{A}. 

Omdat P een partiële functie is, is P(q‚a), met qEQ\F en a€ 
ofwel niet gedefinieerd, ofwel een uniek element uit Qx Zx {L,R,0}. 


Verder geldt dat P(q‚a) = (q'‚,a',X) voor een q'EQ en een a! €Z 
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en XE{L,R,‚0} desd als het 5-tupel (q,a,q',a',X) in de programmatekst 
(zie de inleiding) voorkomt. P wordt gedefinieerd als een partiële functie 
om ervoor te zorgen dat het programma deterministisch is. Dat wil zeggen 
voor elke qEQ en a€> is er hoogstens één actie mogelijk van de TM 
als deze zich in toestand q bevindt en a als invoersymbool ontvangt. 

In de inleiding gaven we al aan dat we Turingmachines meestal zul- 
len weergeven door middel van gelabelde digrafen. Als M = (Q,X,T,P, 
qp F) een TM is dan stellen we M voor door een gelabelde digraaf 
GM = (Q,E) met E = t(a;:4;)} vor Cd Er on XEL; R.O) ig 
P(q;»a) = gpa ‚X)}. De verbinding tussen een knoop q; en een knoop 
aj wordt gelabeld met alle tripels (a,a',X) zodanig dat P (q; a) = 
iqt ‚X). Het labelen kan formeel worden beschreven door middel van 


Zx} x{L,R,0} 


een functie 1:E >2 waarbij 


(Ca; = {(a,a',X) | P(q‚,a) = (a‚„a! aid. 


Bij de weergave in diagramvorm van deze gelabelde digrafen zullen we 
de labels echter niet als verzamelingen weergeven. We laten de accola- 
des en de komma's weg en vermelden alleen de tripeleomponenten, (zie 
figuur 2.4 en figuur 2.6b). 

Hoe kunnen we nu een berekening door een TM formeel beschrijven? 
Veronderstel dat op een bepaald moment de lees/schrijfkop zich in toe- 
stand q bevindt en dat het symbool a op plaats i op de tape wordt 
gelezen. Zij verder Ade verste linker positie op de tape met een niet- 
leeg symbool en zij p de overeenkomstige verste rechter positie. Omdat 
de kop boven positie i staat, kunnen we de string links van de kop a 
definiëren door 


€ als i SA 

a =) de string gevormd door de symbolen op de plaatsen A tot i-1, 
anders. 

Evenzo kan B de string rechts van de lees/schrijfkop worden gedefini- 
eerd als | 
€ als i >p 


de string gevormd door de symbolen op de plaatsen i+1 tot p, 
anders. 
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De configuratie van een TM wordt nu gedefinieerd als het 5-tupel 
(q,i,a,a,B), zoals wordt geillustreerd in figuur 2.1. 

De initiële configuratie C) hangt af van de input x ET* en de 
begintoestand qdo EQ. Als x =¢ dan is Co = (a, ‚1,E6,A,E). In alle 
andere gevallen is x=ay met a€T,‚ y ET* en Co = (do? keert a D 
Samengevat is de configuratie dus 


Co = (q ,1, €, als x=€ dan A anders kop(x),staart(x)) 


Figuur 2.1 


Na de beginconfiguratie wijzigt de configuratie van een TM, M zich 
zoals door het programma wordt aangegeven. We geven deze rij van 
configuraties weer door Colgate en noemen deze rij de bereke- 
ningsrij voor M bij input x. 

ST OG > (Q, Z, T, P, qo F) zich in configuratie C n = (q,i,a,a,ß) 


bevindt dan is de volgende configuratie Je alleen gedefinieerd als 


1 
qEF en als P(q‚a) gedefinieerd is. In dat geval is 


(q'‚i-1,top(a), als a =Ee dan A anders voet (a),bB) 
als P(q‚a) = (q'‚b‚R), 


Bai =j (q',i+1,&b, als B =€ dan A anders kop(B),‚staart(B)) 
als P(q‚a) = (q'‚b‚R), 
(q'‚i,a,b,B) als P(q‚a) = (q',b,0). 


In figuur 2.2 zijn de bijbehorende kopbewegingen aangegeven. Als de 
configuratie niet gedefinieerd is omdat q EF dan zeggen we dat de 
TM, M stopt met succes. In gevallen waarin geen volgende beweging 

is terwijl qF zeggen we dat de TM stopt zonder succes. In dit laat- 
ste geval is de output niet gedefinieerd, maar in het eerste geval defi- 


niëren we de output als de string (x\{a})* waarvan de symbolen 
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Voor Na 
i 


i—1 
cf 


naar 
rechts 


Figuur 2.2 


worden gevonden op de plaatsen 1 tot en met k-1 op de tape, waarbij 
k21l de verste linker positie is met het lege symbool. Veronderstel 
dat Ga de configuratie is waarin M met succes stopt. Om output(C m? 
formeel te kunnen definiëren moeten we eerst de functie 
front:Z*>(X\{^a}* als volgt definiëren 

€ als kop(x) =^ of x=€ 


front(x) = 
concat (kop(x) , front(staart(x))) anders 


De functie front accepteert een string x = a uit Z * als argu- 


Md sl 
ment en levert als waarde ofwel ec (als x= ik of Np ^A), ofwel de 
string CAET 4 als aj, het eerste lege symbool in x is. Dus 
front((O11 A0 A100) = 011 en front(0001) = 0001. 

De functie output (C n? kunnen we nu formeel definiëren. Als 
G = (q,i,&,a,B) dan is 

front (staart È(B)) als i20 

[i+ t jag) als |a| +1>i>1 


€ anders 


output(C n? =; front(staart ja 
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laļ+12i21: i-lal 0 3 i 


i>lal+1: Ord i 


Figuur 2.3 


Deze drie mogelijke situaties worden geillustreerd in figuur 2.3. 

Veronderstel nu dat de TM, M= (Q,x,T, PaP) een input xET* 
krijgt en dat hieruit een eindige berekeningsrij CC ‚©, en C n 
volgt. Als M stopt met succes in de configuratie p dan is dit een 
succesvolle berekeningsrij met lengte m en we zeggen dat de TM, M 
output(C m? bepaalt. De TM, M heeft dus met input x een resultaat 
berekend en dit resultaat noteren we als fy. Omdat M determinis- 
tisch is moet uit x=y volgen dat fya = fyw?) Het hoeft echter 
niet zo te zijn dat fm voor alle x € T* gedefinieerd is. Dit kan komen 
omdat de machine stopt zonder succes, of omdat de machine helemaal 
niet stopt. De functie fM is dus een partiële functie van T* naar X*. 
We noemen fm de functie berekend door M. We noemen een functie 


f:T* >x* (Turing) berekenbaar desd als er een TM, M is zodanig dat 


Pfa 
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VOORBEELDEN 


De volgende functies zijn Turing-berekenbaar: 
(a) de partiële functie ondef die ongedefinieerd is voor alle x € {0,1}* 


(b) de totale functie cons0:{0,1}*> {0,1}* gedefinieerd door 
consÔ(x) = 0x voor alle xE {0,1} 


(c) de totale functies kop:{0,1}*>{0,1} en staart: {0,1}*> {0,1}* . 


De bijbehorende TM's zijn weergegeven in figuur 2.4(a), (b) en (c). 
Net als in de inleiding hebben we ze getekend als gelabelde digrafen. 
Ga zorgvuldig na dat de tekeningen inderdaad correct zijn! We merkten 
al eerder op dat de benamingen van de toestanden er niet toe doen, 
zolang we verschillende toestanden maar kunnen onderscheiden. In de 
digrammen hebben we daarom meestal de toestanden naamloos gelaten. 
De begintoestand heeft een extra inkomende pijl en de eindtoestand 
geven we weer door een vierkantje in plaats van een cirkeltje. 

Twee TM's M, = Q, TP AF) en M, = Q, Z» T, Py „aps 
F3) met hetzelfde input alfabet T heten equivalent desd als 
fm, (x) = fu, œ voor alle xET*. 

Een TM, M = (Q,5,T,P, qdo F? kan alleen zonder succes stoppen 
als er een qEQ en een aEXZ bestaat zo dat P(q,a) niet gedefini- 
eerd is. Deze situatie kan altijd worden vermeden door het construeren 
van een equivalente TM, M'= (QU {aghr,T,P',a,,F) waarbij Ag Ee 
een 'fuik' of doodlopende toestand is. Als q€eQ\F en a€T dan is 
P' (q,a) = P(q,a) als P(q,a) gedefinieerd is en anders is P'(q,a) = 
(q g0). Als M' zich eenmaal in een fuik bevindt dan blijft M' in deze 
toestand omdat immers P'(q g% = (q d’ a,0) voor alle a€ Z. Duidelijk 
is dat M en M' equivalent zijn, maar waar M stopt zonder succes zal 
M' in de fuik terecht komen en daar voor altijd blijven. Hiermee heb- 
ben we de volgende stelling bewezen. 


Stelling 2.1 


Als f een partiële Turing-berekenbare functie is dan bestaat er een TM, 
M, zodanig dat fm =-f en zo dat M alleen stopt in een eindtoestand, 
(dat wil zeggen M stopt altijd met succes). 
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(O0, A‚L) 


(0,O,R) 


(A,A,R) 
kop 


S taar t 


(c) 


Figuur 2.4 


ANDERE TURING-BEREKENBARE FUNCTIES 


We behandelen nu kort enkele berekenbare functies, gedefinieerd over 

de natuurlijke getallen N. Allereerst moeten we beslissen hoe we derge- 
lijke gehele getallen binnen onze programma's zullen weergeven. Om de 

TM's eenvoudig te houden willen we een al te groot aantal symbolen in 

het inputalfabet zoveel mogelijk vermijden. 


Zo zouden we «EN kunnen representeren in de unaire notatie, 
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dus als een string van enen. Het getal één wordt voorgesteld door 1, 
2 door 11, 3 door 111 enzovoort. Een andere, aan alle informatici beken- 
de, notatie is de binaire notatie. Het getal 1 wordt daarin voorgesteld 
als 1, 2 als 10, 3 als 11, 4 als 100 enzovoort. De unaire notatie is de 
allereenvoudigste, maar de binaire is meer algemeen gebruikelijk en ook 
korter. In de unaire notatie wordt x E€ N voorgesteld door een string 
met lengte x, maar in de binaire notatie is de lengte slechts [log,x]+1. 
Beide wijzen van weergave kunnen met behulp van recursieve functies 
worden gedefinieerd. 

unairerep N >{1}* wordt gedefinieerd door 

1 als x= 1 


unairerep(x) = 
concat(l,unairerep(x-1)) anders 


en binairerep N>{0,1}* door 


1 als x=1 
binairerep (x) =j concat(binairerep(x'/'2),0) als x>1 en even 


concat(binairerep(x'/'2),1) als x>1 en oneven 


waarbij '/' geheeltallige deling voorstelt. 

We zullen laten zien dat de keuze van de wijze van weergave geen 
invloed heeft op de inhoud van de klasse van Turing-berekenbare func- 
ties over N. Voorlopig kiezen we voor de unaire notatie en we bekijken 
de rekenkundige operaties optelling en vermenigvuldiging. 

Stel we willen x+y berekenen met x,y EN. We coderen onze input 
als een string van enen ter lengte x gevolgd door een + en gevolgd 
door een string enen ter lengte y. We willen nu een TM construeren 
die, gegeven deze input, als resultaat oplevert de unaire representatie 
van x+y. Erg moeilijk is dat niet: we hoeven alleen maar de + string 
te verwijderen en de y enen die y weergeven één plaats naar links op 
te schuiven. Ook zouden we in plaats daarvan het plus-teken kunnen 
vervangen door een één en de meest rechtse één uit de string verwij- 
deren. Deze laatste oplossing leidt tot de in figuur 2.5 getekende un- 
aire opteller. 

Vermenigvuldiging van twee getallen x,y €N is wat ingewikkelder. 
We veronderstellen dat de inputstring bestaat uit x enen, gevolgd door 
een maal-teken, gevolgd door y enen. Onze TM moet als resultaat van 


zijn berekening de unaire weergave van het produkt van x en y ople- 
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(1,1,R) (1,1,R) 


(+,1,R) (A,‚A,L) (1,A,R) 


figuur 2.5 Een unaire opteller 


veren. Om te beginnen verschuiven we de inputstring, die de plaatsen 
1,2,...,k (k=x+y+1) op de tape inneemt, naar links, zodat de plaat- 
sen -k,-k+1,...,1 de elementen van de string bevatten. Op deze ma- 
nier kunnen we het positieve deel van de tape als werkruimte gebruiken 
zonder dat de oorspronkelijke inputstring wordt overschreven. We gaan 
nu de outputstring construeren. Initieel is de outputstring leeg, maar 
telkens als we een 1 uit de unaire weergave van y lezen, kopiëren we 
de unaire weergave van x en voegen die toe aan de outputstring. In 
figuur 2.6(a) hebben we deze werkwijze weergegeven en in figuur 
2.6(b) is de TM getekend als een gelabelde digraaf. De symbolen 0 en 
= hebben we gebruikt als hulpsymbolen in het programma. Met het = 
symbool geven we plaats 0 op de tape aan. 


Het is belangrijk het mechanisme van deze unaire vermenigvuldiger 


Re 3 2e Bte 3 4 5 B 


eindtoestand 


Figuur 2.6(a) De berekening van 2x3 
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Verschuift de 
inputstring naar 
Links 


Maakt y kopieën 
van de unaire 
voorstelling van x 
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(X,x,L) 


(AAR) OPA 
(1,1,R) Be e UAL) 


(xx RICA (x,A,L) 


(=,=,R) crr 


a A D 


$ (x,x,0) OM 
(1,A,L) 

(A,A,L) aL 
(x,X,L) 


G ODIAS 
a 
(0,1,R) (1,0,R) 
(x,Xx,R) (A,A,R) 


(1,1,R) C9) (0,0,R) 


(1,1,R) 
(=,=,R) 


ODKAR 


(A,1,L) 


L) 


(A,A,L) 


Figuur 2.6(b) Een unaire vermenigvuldiger 


goed te begrijpen omdat het een aantal algemeen toepasbare technieken 


bevat, zoals het merken van een bepaalde plaats op de tape en het 
gebruik van hulpsymbolen tijdens het kopiëren. Later in dit hoofdstuk 
volgen nog meer voorbeelden van TM's. De bij de uitwerking gebruikte 


technieken zullen wij nog vaak toepassen. Ook bij het construeren van 


de TM's uit de oefeningen 2.1-2.4 moeten ze worden gebruikt. In de 


appendix staat een in Pascal geschreven programma vermeld dat een 


Turingmachine simuleert. Met behulp van deze simulator kan worden 
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gecontroleerd of een voor een bepaalde berekening ontworpen TM inder- 
daad de gewenste output oplevert. 

TM's kunnen dus optellen en vermenigvuldigen. Herhaald gebruik 
van deze bewerkingen maakt het mogelijk aan te tonen dat elk polynoom 
p(x) = a, +a,x vans. ax in N Turing-berekenbaar is. In oefe- 
ning 2.3 wordt gevraagd te bewijzen dat ook aftrekking en geheeltallige 
deling berekenbaar zijn. 

Tot nu toe gebruikten we de unaire notatie. Hoe zit het als we op 
een andere notatie voor onze getallen overgaan? Volgens de these van 
Church kunnen de berekeningen worden uitgevoerd onafhankelijk van 
de gebruikte notatie, zolang deze maar formeel gedefinieerd is. Dat 
betekent dat een getal x in een bepaalde notatie met behulp van een 
TM kan worden omgerekend naar een andere notatie en eveneens dat 
er een TM moet bestaan die de omgekeerde bewerking weer kan uitvoe- 
ren. In figuur 2.7 is dit schematisch weergegeven. Zij nu f de een of 
andere over de gehele getallen gedefinieerde functie en zij T f een TM 
die f berekent met input en output in de oorspronkelijke notatie. We 
kunnen nu een TM fi construeren die eveneens f berekent, maar met 
input en output in een een andere notatie. Het enige dat Ti behoeft 
te doen is eerst DECODEER los te laten op de inputstring, vervolgens 
T f op te starten en tenslotte CODEER toe te passen op de outputstring. 

Ter illustratie zullen we CODEER- en DECODEER-machines bouwen 
voor de unaire/binaire weergave. Allereerst de DECODEER-machine. 
Deze machine accepteert als input de binaire weergave van een natuur- 
lijk getal en berekent de overeenkomstige unaire weergave. Omdat we 
de natuurlijke getallen beschouwen is de input minstens één en de 
output dus ook. Na deze eerste 1 lezen we van links naar rechts ver- 
der en daarbij gaan we als volgt te werk. Als we een 0 lezen in de 
inputstring dan verdubbelen we de outputstring en als we een 1 lezen 
dan doen we dat ook, maar we voegen er nog één extra 1 aan toe. In 
figuur 2.8 wordt deze werkwijze geillustreerd, waarbij we ervan uit- 
gingen dat de inputstring al uit de plaatsen 1,2,..., werd gekopi- 
eerd naar de plaatsen - ,...,-2,-1 en dat plaats 0 werd gemerkt met 
het hulpsymbool =. In figuur 2.9 is de volledige machine als een gela- 


belde digraaf weergegeven. 
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x in de x in de 
oorspronkelijke CODEER alternatieve 
notatie notatie 
x in de x in de 
alternatieve DECODEER oorspronkelijke 
notatie notatie 

Figuur 2.7 


Figuur 2.8 Conversie van de weergave van 5 


Laten we nu eens proberen een machine te ontwerpen voor conversie 
van unair naar binair. De input is een string van k>0 enen. Als 
k= 1 dan is de outputstring ook een 1. Als k> 1 dan moeten we na- 
gaan of k even of oneven is. Als k even is dan is de outputstring 
gelijk aan de binaire voorstelling van k'/'2 gevolgd door een 0. Is k 
oneven dan is de outputstring gelijk aan de binaire voorstelling van 
k'/'2 gevolgd door een 1. ('/' is het teken voor geheeltallige deling.) 

Om te beginnen vervangen we de eerste 1 en vervolgens elke twee- 
de 1 in de inputstring door het hulpsymbool X. Als dit proces eindigt 
met het vervangen van een 1 door een X dan bevatte de inputstring 
een oneven aantal enen. Zo niet dan was het aantal enen even. In het 
eerste geval plaatsen we als meest rechtse symbool in de outputstring 
een 1, in het tweede geval een 0. We hebben nu nog precies k'/'2 
enen in de inputstring over! We kunnen het proces nu opnieuw toepas- 
sen en een volgend symbool aan de outputstring toevoegen. Als we de 
laatste 1 in de inputstring door een X hebben vervangen dan zijn we 


klaar en in de binaire weergave compleet. 
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(1,1,L) 
(0,0,L) 
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(AAR) (=,= 
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Figuur 2.9 Een machine voor conversie van binaire 


naar unaire notatie 


In onderstaand voorbeeld is de inputstring de unaire weergave van het 


getal elf en is het conversieproces volledig uitgewerkt. 


input 


na eerste iteratie 
na tweede iteratie 


na derde iteratie 


na laatste iteratie 


input string output string 


11111111111 E€ E€ 
X 1X 1X 1X 1X 1X 1 
XXXIXXXIXXX 11 
XXXXXXXIXXX 011 
XXXXXXXXXXX 1011 


In figuur 2.10 is de TM getekend die de conversie van unair naar 


binair uitvoert. De oorspronkelijke inputstring staat op plaatsen 


1,...,k op de tape. Plaats 0 is gemerkt met het hulpsymbool = en de 
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(1,1,L) 


(A‚=‚R) 


(X,X,R) R AN A (X,X,R) 


=,=,R) 


(X,1,L) 


Ee 
Or (151,0) 


(X,1,L) (X,0,L) 


ə p 
m (=, ARICA (00,9) 


(0,O,R) (1,1,R) 
( ‚ARI (=‚=,R) 
=,‚=,R) (0,0,R) 
en (1,1,R) 
(X,A 0) 


Figuur 2.10 Een machine voor conversie van unaire 
naar binaire weergave 
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output wordt symbool voor symbool geschreven naar de plaatsen 
-1,-2,.... Altijd is er na de voorlaatste iteratie precies één 1 in de 
inputstring over. Deze wordt bij de laatste iteratie vervangen door een 
X. Vervolgens schrijven we een 1 op plaats 1 en kopiëren, beginnend 
bij het meest linkse symbool, de elementen uit de negatieve tapeposities 


naar de plaatsen 2,3,.... 


EEN NIET-BEREKENBARE FUNCTIE 


Zij f:N>N een Turing-berekenbare partiële functie, dan mogen we 
aannemen dat er een Turingmachine Ep = (Q, >,{1},P,q,, F) bestaat 
die f in unaire notatie berekent. Ook mogen we altijd veronderstellen 
dat de toestanden van Q q TL EREE zijn en dat de symbolen in > 
l= S> As SSS: wi zijn. Q is dan een eindige deelverzameling van 
de aftelbare verzameling Q = (a, |t 20} en x is een eindige deelverza- 
meling van de aftelbare verzameling 5 = ts, |i 20}. We kunnen T f een- 
voudig beschrijven door het weergeven van zijn programma als een lijst 
van 5-tupels en door aan te geven welke van de toestanden eindtoestan- 
den zijn. Elk 5-tupel in het programma is van de vorm t= (qisi Aj» 
S} ,X). De indexen i, j, k enl zijn niet-negatieve gehele getallen en 
X € {L,R,0}. Een 5-tupel t kan worden gecodeerd als een geheel getal 
g(t) met behulp van de Gödel aftellingstechniek, 

g(t). = git gj+1 sK+1 zt nt! 
waarbij m=0 als X=L, m=i als X=R en m=2 als X=0. Een 


eindige rij van 5-tupels, t =( tot: lt) kan nu worden gecodeerd 


als het gehele getal 


_ 971) alta) glt) 
got) 2 3 AP Ph n 


Hierbij is Ph het n-de priemgetal. Als nu de TM fr een programma 


heeft dat wordt beschreven door de rij 5-tupels Et eeta) en door 


-ka 


de eindtoestanden A, Al <A2<...< Ar dan kunnen we 


Ap Caa N 
T „ coderen als 


f 


AT) = IL) gå1+1 nà2+1 Ar+1 
f ak 
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Met het vaststellen van deze Gödelaftelling hebben we de volgende stel- 


ling bewezen: 


Stelling 2.2 


De verzameling {T p IT f is een TM van het hierboven beschreven type 


en berekent een partiële functie f:N >N} is aftelbaar oneindig. 


Als een verzameling aftelbaar is dan kunnen haar elementen systema- 
tisch worden opgesomd: Tfi T fa» Er Ty, berekent fi :N >N . Elke bere- 
kenbare functie fi wordt berekend door minstens één Tfi uit deze lijst. 
We gebruiken nu dezelfde techniek als bij Cantor's diagonalisatiestelling 
(zie Hoofdstuk 1) om een functie g:N>N te construeren die niet door 
een Er in de lijst wordt berekend. We definiëren g eenvoudig als volgt 

f (n)+1 als f (n) gedefinieerd is 

gin) =| " F 

$ als fa niet gedefinieerd is 
Veronderstel nu dat bij g een Turingmachine uit de lijst hoort. Dat 
zou betekenen dat g door een of andere Tfk berekend wordt. Tfk 
berekent. echter fk en op grond van de definitie is in ieder geval 
g(k) # fK) en dus is gq# fk . Onze veronderstelling leidt dus tot 
een tegenspraak en dus is g niet berekenbaar. Hiermee hebben we 
bewezen: 


Stelling 2.3 


Er bestaan niet berekenbare functies N>N. 


De situatie is zelfs nog ernstiger dan de stelling suggereert! In 
oefening 16 in hoofdstuk 1 werd gevraagd te bewijzen dat er onaftel- 
baar veel partiële functies N>N bestaan. Hier toonden we aan dat 
daarvan maar aftelbaar veel Turing-berekenbaar zijn en dus moeten er 
onaftelbaar veel niet-berekenbare functies bestaan. Een tamelijk bedroe- 


vend resultaat, maar geen aanklacht tegen de Turingmachine. Tot nu 
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toe wijst alles erop dat de these van Church correct is en dat elke 
effectief berekenbare functie ook Turing-berekenbaar is. Nu moeten we 
echter constateren dat het merendeel van alle functies niet effectief 
berekenbaar is en dus wel een theoretische, maar zeker geen praktische 
betekenis heeft. 


MULTITAPE TURINGMACHINES 


Als we de these van Church voor waar houden, (en dat doen we!) dan 
kunnen Turingmachines elke functie berekenen die door enig andere 
machine berekend kan worden. Dat betekent ook dat het uitbreiden van 
een Turingmachine met toeters en bellen niet zal leiden tot vergroting 
van de rekencapaciteit. In dit hoofdstuk lichten we deze bewering toe 
met behulp van Turingmachines met meer dan één tape. In hoofdstuk 4 
volgt een nadere toelichting aan de hand van niet-deterministische 
Turingmachines, (zie verder ook opgave 2.10). 

Een multitape Turingmachine heeft n>l eindeloze tapes en n lees/ 
schrijfkoppen. De koppen worden centraal bestuurd zoals is weergege- 
ven in figuur 2.11. Het besturingsmechanisme kan zich in een eindig 
aantal toestanden uit een verzameling Q bevinden. Het programma spe- 
cificeert de volgende stap die steeds afhangt van de toestand q van 
het besturingsmechanisme en van de op de diverse tapes gelezen sym- 
bolen. De machine kan nu overgaan naar een nieuwe toestand, symbolen 
op één of meer tapes schrijven en één of meer van de koppen verplaat- 
sen naar links of naar rechts. 

We zullen tape 1 voor input en output gebruiken; de overige tapes 
vormen dus een uitbreiding van de werkruimte. Om te beginnen wordt 
een inputstring xET* geschreven naar de plaatsen 1,2,...,lx| van 
tape 1. Alle andere plaatsen op deze en de andere tapes zijn leeg. Alle 
koppen beginnen met het lezen van de inhoud van plaats 1 van hun 
tape. De machine zal stoppen als het besturingsmechanisme in een eind- 
toestand uit FSQ terecht komt. De output wordt naar tape 1 geschre- 
ven. Als plaats 1 van tape 1 het lege symbool bevat dan is de output 
de lege string s, anders is de output gelijk aan de string gevormd door 
de inhouden van de plaatsen 1,2,...,k-1 van tape 1, waarbij k de 


meest linkse locatie is die het lege symbool bevat, (k> 0). Ook hier 
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me 6 1 2 3 
REKETE 
kop 1 
AEE E 
bestu- kop 2 
ring i : 
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/ 
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Figuur 2.11 Een multitape Turingmachine 


houden we de mogelijkheid open dat er van hulpsymbolen gebruik wordt 
gemaakt en de output is dus algemeen een element van de verzameling 
r* met TEE. 

We zullen de multitape TM niet strikt formeel behandelen, maar de 
informele behandeling zal zodanig zijn dat de lezer desgewenst zelf het 
betoog kan formaliseren. We geven nu een schets van het bewijs van 


de volgende stelling. 


Stelling 2.4 


Een functie f:T*>y* is Turing-berekenbaar desd als de functie 


berekenbaar is op een multitape Turingmachine. 


Schets van het bewijs 


=>: Het bewijs in deze richting is triviaal: als de functie Turing- 
berekenbaar is dan behoeft de multitape machine alleen maar alle bere- 
keningen op zijn eerste tape uit te voeren, zoals gespecificeerd door 
het programma voor de één-tape machine. 

+: We geven een schets van het omgekeerde bewijs voor het geval 
waarin f berekend wordt door een 2-tape TM, M. Zelfs de schets van 
het bewijs is tamelijk gecompliceerd en deze kan desnoods bij eerste 


lezing worden overgeslagen. Het vervolgens generaliseren van het 
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resultaat naar een machine met n tapes is daarentegen eenvoudig en 
wordt als oefening aan de lezer overgelaten. 

We gaan uit M een één-tape TM, M' construeren die f ook berekent. 
Veronderstel dat > het tape-alfabet van M is. Het tape-alfabet van M' 
laten we dan bestaan uit tripels (X,B ‚…B). waarbij X het symbool 0 
of het symbool 1 is en waarbij B, en B, elementen uit > zijn, maar mo- 
gelijk met superscript 1. We gaan nu een bepaalde configuratie waarin 
M zich bevindt nabootsen door middel van een configuratie van M'. 
Laten we een willekeurige tapelocatie k beschouwen en veronderstel 
dat tape 1 van M hier het symbool A i heeft staan en tape 2 het sym- 
bool A De inhoud van plaats k van M' wordt nu bepaald door het 
tripel (X,B B), X heeft de waarde 1 als k =1 en in alle andere 
gevallen is X=0. Verder is B, =À; (i =1,2) als kopi plaats k van 
tape i leest, terwijl B, =A; als dat niet het geval is. 


Als nu de één-tape machine M' als input de string x =a Q,» a 
(n> 0) ontvangt dan zullen we M' allereerst deze input laten lezen en 
laten vervangen door tripels Gai N),(0,a,, A), és d ‚(0,a_,A). Als 


n=0 dan vullen we plaats 1 met het tripel (1, ke A0 Het lege sym- 
bool van M' geven we aan met (0,A‚n) en we veronderstellen dat alle 
overige plaatsen op de tape dit lege symbool bevatten. Op deze wijze 
bevat de tape van M' de initiële inhouden van de tapes van M. 

Nu moeten we het mechanisme van de TM M' beschrijven dat de 
acties van de multitape machine M nabootst. Als Q de toestandverzame- 
ling van M is dan is de toestandverzameling van M' weer te geven met 
Qx z? x2fl 2} ere e >tetL,0,RI. M' is in de toestand (q,(A, A), 
S.X, (Y, Y, )) desd als voor de configuratie van M geldt: 

(i) M is in toestand q 
(ii) Kop, leest A, en kop, leest A 

Elke locatie op de tape van M' die één of meer componenten bevat 
met superscript 1 heet een actieve locatie. Maximaal zijn er twee actieve 
locaties; de eerste heeft een superscript boven zijn tweede component 
en de tweede boven zijn derde component. De eerste component van de 
toestand van M' wordt gebruikt voor het bepalen van de plaats van 
actieve locaties op de tape. Als de kop van M' plaats k op de tape leest 
dan geldt i €S voor i=1,2 desd als de i-de locatie zich links van 


plaats k bevindt. We gebruiken het symbool X uit de toestandsbeschrij- 
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ving om aan te geven of k<1,k=1 of k>1. De symbolen Y, Y, ) 
worden gebruikt bij het simuleren door de machine M' van één stap van 
de machine M. In figuur 2.12 wordt de constructie die we hier beschre- 
ven nog eens door middel van een plaatje weergegeven. 

Nadat M' de inputstring heeft vervangen op de hierboven beschre- 
ven manier, beweegt M' zijn lees/schrijfkop terug naar de plaats 1 op 
de tape, (die terug te vinden is omdat zijn eerste component een 1 
bevat), en komt in de toestand (as (a, ‚A, Ø, =, (0,0)). Het simuleren 
van M kan nu beginnen. 

De simulatie van een stap van M wordt door M' in twee fasen uitge- 
voerd. In de eerste fase berekent M' uit zijn huidige toestand: 

(i) de volgende toestand van het besturingsmechanisme van M 
(ii) de symbolen die door de koppen van M geschreven zullen worden 
(iii) de richtingen waarin de koppen van M zich zullen bewegen. 


toestand 
van M 


“tt Ai Wrede 
zo eepe 
Besturing 


EEE 
PRS 


eN 


Bijbehorende 
toestand van M 


zi 0 1 2 


(q,(B,1, 
{1}.=, 
(Y: Y2)) 


3 


Figuur 2.12 


Deze gegevens worden door M' opgeslagen in de eerste, tweede en vijf- 


de component van zijn toestandsbeschrijving. Nu begint de tweede fase 
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van de berekening. Hiervoor moet de lees/schrijfkop de twee actieve 
locaties achtereenvolgens bezoeken. Terwijl M' zijn tape doorloopt moe- 
ten de derde en vierde component van zijn toestandsbeschrijving worden 
aangepast. Op grond van de informatie in de derde component kan M' 
vaststellen in welke richting de volgende actieve locatie moet worden 
gezocht. Als M' de i-de (i =1,2) actieve locatie vindt dan krijgt de 
(i+1)-ste component van het daar opgeslagen tripel het superscript 1. 
Dit symbool moet vervolgens vervangen worden door de i-de component 
van de tweede component van de toestandsbeschrijving van M'. Nu 
wordt het superscript 1 geschreven bij ofwel de (i+1)-ste component 
van het zojuist gelezen tripel, ofwel van het tripel links daarvan, ofwel 
van het tripel rechts daarvan, afhankelijk van de waarde 0, L of R 
van de i-de component van de vijfde component van de toestandsbe- 
schrijving van M'. De tweede fase van de simulatie van een stap van 
M is pas voltooid als beide actieve locaties op de tape van M' zijn 
bezocht en als de bijbehorende componenten zijn aangepast. Tijdens dit 
bezoekproces kan ook de tweede component van de toestand van M' 
worden aangepast zodat deze vervolgens het nieuwe paar symbolen dat 
door de koppen van M gelezen wordt bevat. 

Als fase twee is doorlopen dan is de simulatie van een stap van M 
door M' voltooid. Dit proces wordt nu zo vaak als nodig is herhaald 
teneinde M' de berekening van M te laten nabootsen. Als M in een eind- 
toestand komt dan zal M' gebruik maken van zijn vierde component om 
plaats 1 op de tape terug te vinden. Als plaats 1 door M' is gevonden 
dan wordt de output gegenereerd door de tape naar rechts uit te lezen 
en elke gelezen tripel te vervangen door de tweede component van dat 
tripel. Echter zodra een tripel wordt gelezen met als tweede component 
n of n° dan wordt het lege symbool (0,A,A) op de tape geschreven en 
komt ook M' in zijn eindtoestand. Op deze wijze is ook de output van 


M' , gegeven input x, juist f(x) en is de simulatie voltooid. 


BEPERKTE TURINGMACHINES 


Hoewel het TM-model eenvoudig en betrekkelijk gemakkelijk toe te pas- 


sen is, is het toch krachtig genoeg om er elke effectief berekenbare 
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functie mee te kunnen berekenen. In deze paragraaf brengen we een 
aantal restricties aan in het model met behoud van het oorspronkelijke 
rekenvermogen. Een mogelijke beperking in het model is de veronder- 
stelling dat de gebruikte tape niet in beide richtingen oneindig lang is 
maar slechts in één richting. In dat geval zijn de locaties op de tape 
niet meer genummerd met <. v -2,-1,0,1,2,... mär met 1,2,3,... 

Het TM programma wordt op de gewone manier uitgevoerd, maar als de 
kop naar links zou moeten bewegen na het lezen van locatie 1 dan stopt 
de machine zonder succes. We noemen een op deze manier beperkte TM 
een Turingmachine met een eenzijdig oneindige tape. De oorspronkelijke 
TM is dan een Turingmachine met tweezijdig oneindige tape. 


Stelling 2.5 


Als f:T*>y* een TM-berekenbare partiële functie is dan is f ook 


berekenbaar op een Turingmachine met eenzijdig oneindige tape. 


Bewijs. Ook hier geven we alleen een schets van het bewijs en laten 
we de formele bewijsvoering aan de lezer over. Omdat f TM-berekenbaar 
is, bestaat er een TM met tweezijdig oneindige tape M = (Q,T,X,P, 
AD met f =f We zullen laten zien hoe we uit M een Turingmachine 
met eenzijdig oneindige tape, M' kunnen construeren met Fur = fy: 

De kern van het bewijs bestaat uit het weergeven van de inhoud 
van een tweezijdig oneindige tape op een eenzijdig oneindige tape. Hier- 
bij gebruiken we dezelfde techniek als we in hoofdstuk 1 gebruikten om 
aan te tonen dat Z aftelbaar is. We beelden de inhoud van de tweezijdig 
oneindige tape af op de eenzijdig oneindige zoals aangegeven in figuur 
2.13. Locaties 1 en 2 op de eenzijdig oneindige tape bevatten beiden 
het speciale symbool * ¢ Z. De bedoeling hiervan zullen wij nu verdui- 
delijken. De inhoud van plaats i>1 van M vinden we terug op plaats 
2i +1 van M' en de inhoud van plaats i<0 van M vinden we op 
plaats 4-2i van M'. 

Veronderstel nu dat M plaats i >1 leest; als M' op hetzelfde punt 
in de berekening is aangeland dan moet M' dus plaats 2i+1 lezen. 


Als M vervolgens het gelezen symbool door X vervangt en één plaats 
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en Me Ra 0 1 


2 3 4 
ee ee 


1 2 3 4 5 6 7 8 9 10 
EERE 


Figuur 2.13 


naar rechts opschuift, dan moet M' het gelezen symbool ook door X 
vervangen, maar twee plaatsen naar rechts opschuiven. Op dezelfde 
manier wordt een beweging naar links door M vervangen door een 
beweging twee plaatsen naar links door M'. Als P het programma van M 
is dan construeren we dus hieruit een programma Ph voor M’ door elke 
beweging naar links of naar rechts in P te vervangen door een bewe- 
ging twee plaatsen naar links of rechts. We zullen veronderstellen dat 
de in PL gebruikte toestanden op een subscript R na gelijk zijn aan de 


R 
toestanden in P. Zo kunnen we met P! het programma P nabootsen op 


het positieve deel van een tape. 5 

Als M daarentegen een locatie i <0 leest dan is de bijbehorende 
locatie van M' 4-2i. In dat geval wordt een beweging naar links van 
M vertaald door een beweging twee plaatsen naar rechts van M' en een 
beweging naar rechts door M komt overeen met een beweging twee 
plaatsen naar links door M'. We construeren nu een programma F uit 
P door een subscript L te plaatsen bij alle toestanden uit P en door 
elke beweging naar rechts te vervangen door een beweging twee plaat- 
sen naar links en elke beweging naar links door een beweging twee 
plaatsen naar rechts. 

Met de constructie van Ph en Pi hebben we het gewenste program- 
ma P' bijna geconstrueerd. Het programma P’ zal allereerst zijn input- 
string twee plaatsen naar rechts opschuiven en de eerste twee plaatsen 
op de tape met het symbool * vullen. Nu wordt de kop naar plaats 3 
bewogen en wordt met het uitvoeren van Pp begonnen. Als in een 
bepaald stadium van de berekening na een dubbele stap naar links het 
symbool * wordt gelezen dan weten we dat we ons op plaats 1 bevinden. 
Als M' zich nu in toestand dR bevindt dan is de overeenkomstige toe- 


stand van M toestand q en leest M plaats 0. We definiëren nu P' (ap *) 
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zo dat de kop van M' drie plaatsen naar rechts wordt bewogen en 
zich dus boven locatie 4 bevindt. Tegelijkertijd zorgen we dat hierbij 
toestand qz, van Pi, behoort. Nu gaat M' verder met het uitvoeren van 
Pr totdat na een dubbele beweging naar links opnieuw een * wordt 
gelezen. Dit betekent dat we ons op locatie 2 bevinden en M' moet nu 
één plaats naar rechts bewegen, de inhoud van locatie 3 lezen en over- 
gaan van een toestand a, € P! naar de bijbehorende Ap Ps 


L R 
Het symbool * gebruiken we dus om de overgang van P! naar P! 


en omgekeerd te markeren en zo simuleert P' het gedrag b f Na: is 
er nog één aanpassing nodig om ervoor te zorgen dat P' de juiste out- 
put genereert. Als P in een eindtoestand komt dan moet P' de inhoud 
van zijn tape aanpassen door de inhoud van de plaatsen 3,5,7,... te 
kopiëren naar de plaatsen 1,2,3,... tot en met het eerste lege symbool. 


Hiermee is de constructie van P' gereed. 


In de meeste gevallen zullen we ons houden aan het oorspronkelijke 

TM model met de tweezijdig oneindige tape. Het speciale geval waarin 
de machine stopt zonder succes na een poging naar links te bewegen 
vanuit plaats 0 hoeven we dan niet in aanmerking te nemen. Bepaalde 
bewijzen kunnen echter worden vereenvoudigd door uit te gaan van het 
model met de eenzijdig oneindige tape. 

Er zijn andere restricties binnen het TM-model mogelijk die het 
rekenvermogen niet aantasten. Een goed overzicht van deze restricties 
staat in Fischer (1965). We kunnen bijvoorbeeld uitgaan van een TM 
met twee tapes, waarbij de eerste tape wordt gebruikt voor input en 
output, terwijl de tweede tape als werktape wordt gebruikt. We kunnen 
nu bijvoorbeeld eisen dat behalve het lege symbool slechts één ander 
symbool op de werktape wordt gebruikt. Dat deze machine equivalent 
is met een normale TM kan vrij eenvoudig worden aangetoond. Stel 
M = (Q,2,T,‚P‚q F) is weer de oorspronkelijke TM met n mogelijke 
niet-lege symbolen. Het i-de symbool kunnen we nu op de werktape 
coderen als he MO en het lege symbool door A. Elk symbool uit 
wordt zo uniek weergegeven binnen precies x locaties op de tape. De 
2-tape TM codeert nu eerst de input van zijn eerste tape naar zijn 
tweede tape met behulp van deze codering. Nu kan de werking van 
worden gesimuleerd op de tweede tape met de gecodeerde symbolen. 
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Als de simulatie stopt dan kan de output worden geconstrueerd door 
de informatie op de werktape te decoderen en terug te schrijven naar 
de output-tape. 

Een soortgelijke eigenschap die we later nodig zullen hebben en die 


is gebaseerd op binaire codering is geformuleerd in de volgende stelling. 


Stelling 2.6 


Elke Turing-berekenbare functie {0,1}* >{0,1}* kan worden berekend 


met een één-tape TM die slechts {0,1, ^} als tape-alfabet gebruikt. 


Bewijs (schets). Stel dat M = (Q, Z,{0,1},P, qo: F) de functie 
f:{0,1}*>{0,1}* berekent en dat > de symbolen 0,1,s, Sjees Sh als 
als niet-lege symbolen bevat, waarbij n 21. Elk van deze symbolen 
kan worden gecodeerd als een string in {0,1}* ter lengte 

k = [log „(n+2) | met behulp van een binaire code. Als bijvoorbeeld 
n=5 dan is k =3 en coderen we 0 als 000, 1 als 001, S} als 010, S> 
als 011, S3 als 100, S4 als 010 en Ss als 110. De code 111 wordt in dit 
geval niet gebruikt. 

We construeren nu weer een TM, M' uit M. M' codeert eerst de 
input met codes uit {0,1}*, zoals hierboven aangegeven. M' simuleert 
vervolgens de werking van M en als deze simulatie stopt dan kan M' 
de informatie op de tape decoderen naar de gewenste output. Tijdens 
dit coderen kan M' alle coderingen van symbolen Si vertalen naar het 
lege symbool A, omdat het resultaat immers alleen symbolen uit {0,1} 
mag bevatten. Als elke codering van de symbolen 0 en 1 correct naar 
0 en 1 wordt vertaald dan genereren we de correcte output en wordt 
ervoor gezorgd dat M' slechts de tekens 0,1 en A op zijn tape heeft 


staan. 


OEFENINGEN 


1. Construeer een TM om lengte: {0,1} sN te berekenen met de out- 
put in unaire notatie. Construeer hieruit, of op een andere manier, 


een TM die lengte berekent met de output in binaire notatie. 
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. Construeer een TM ter berekening van rev:{0,1}*>{0,1}* zoals 


gedefinieerd in opgave 18 uit hoofdstuk 1. 


. Gegeven is de functie palindroom: {0,1}*>{0,1} met 


Y salg 7ae=rev(x) 
palindroom(x) = 
0 anders 
Laat zien dat palindroom(x) = 1 desd als ofwel lengte(x) <1, ofwel 
x is van de vorm 0y0 of lyl met palindroom(y) =1. Construeer nu 
een TM voor het berekenen van palindroom. Is deze methode effici- 
enter of minder efficiënt dan direct rev(x) construeren en nagaan 


of. x= rex)? 


. Bouw een TM voor het berekenen van sub en div:NxN>N, waar- 


bij 
Ky als x>y 
sub(x, y) = 
onbepaald anders 
en 
k als x =ky voor een kEN 
div(x, y) = | 
onbepaald anders 


Veronderstel in beide gevallen dat de input bestaat uit een unaire 
representatie van x gevolgd door een symbool voor de bewerking 


(- of :), gevolgd door een unaire representatie van y. 


. Pas de antwoorden op opgave 4 zo aan, dat de Turingmachines nooit 


zonder succes stoppen als de input uit {-,:,1}* is. 


. Controleer uw antwoorden op de opgaven 1, 2 en 3 door de Turing- 


machines te simuleren met de TM-simulator uit de Appendix. Kies | 


steeds een input testset die het programma volledig uittest. 


. Codeer de TM-programma's uit opgave 4 als quintupels en voer ze 


in in de TM-simulator. Beschrijf de input-testset waarmee u de juist- 
heid of (onjuistheid!) van uw programma's denkt te kunnen aantonen. 
(De TM-simulator kan in het vervolg steeds worden gebruikt om pro- 
gramma's te testen.) 


. Definieer een functie {0,1}* >{0,1}* die niet Turing-berekenbaar 


is; 


10. 
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Als we als input aan de unaire opteller m enen geven, gevolgd 
door een +, gevolgd door n enen, wat is dan de lengte van de out- 
put van een succesvolle berekening? En wat is het overeenkomstige 
resultaat voor de unaire vermenigvuldiger? Hoe kan de gemiddelde 


efficiëntie van deze programma's worden verbeterd? 


Stelt u zich een TM voor met een twee dimensionale tape. Een plaats 
op de 'tape! wordt nu bepaald door de coördinaten (i,j) met 

i,j EZ. Afhankelijk van zijn toestand en het juist gelezen symbool 
kan deze twee-dimensionale Turingmachine naar een nieuwe toestand 
overgaan en daarbij zijn lees/schrijfkop in één van vier mogelijke 
richtingen (links, rechts, op, neer) bewegen. Op ieder tijdstip 
staat er slechts een eindig aantal niet-lege symbolen op de tape. 
Inputs en outputs worden op analoge wijze als bij een één-dimen- 
sionale tape verwerkt op de plaatsen (1,1),(1,2),(1,3),... . Toon 
aan dat elke functie die berekenbaar is met een twee-dimensionale 


TM, ook berekenbaar is met een gewone (één-dimensionale) TM. 
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The troubles of our proud and angry dust Moeite met ons trots onstuimig bloed 
Are from eternity, and shall not fail. Is voor eeuwig en altijd ons deel. 
Bear them we can, and if we can we must. Maar wij kunnen verdragen en wie kan 
Shoulder the sky, my lad, and drink your ale. die moet. 


Schouders onder de hemel, kerel en 
A.E. Housman, Last Poems giet je bier door je keel. 


EEN UNIVERSELE TURINGMACHINE 


In de Appendix bij dit boek wordt een computerprogramma beschreven 
dat een Turingmachine simuleert. De input voor de simulatie bestaat 
uit de beschrijving van een Turingmachine M = (Q, 2,T,‚P,qaF) en 
van een inputstring x€T*. De TM beschrijving moet in een bepaalde 
voorgeschreven vorm worden gegeven, zoals aangegeven in de Appen- 
dix. Hier beschrijven we een codering van een TM, M met e(M). Als 
het simulatieprogramma als input e(M) en een string x, krijgt dan zal 
het programma M met input x simuleren. (We gaan uit van de veronder- 
stelling dat steeds voldoende geheugencapaciteit beschikbaar is.) Als 
M met succes stopt na input x en dus een functie fy berekent 
dan levert het simulatieprogramma ook fy als resultaat. Als M 
daarentegen zonder succes stopt na input x,dan drukt het programma 
een mededeling met deze inhoud af. Zou echter M in een eindeloze her- 
halingslus terecht komen dan stopt ook het programma niet en wordt 
ook geen bericht afgedrukt. Helaas is het probleem van de mogelijke 
eindeloze lus onvermijdelijk en dit zullen we in dit hoofdstuk aantonen. 
Het is niet mogelijk een methode te bedenken waarmee het simulatiepro- 


gramma altijd kan vaststellen dat een willekeurige TM, M in een einde- 
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loze lus is blijven hangen en een bericht met die strekking kan dan ook 
niet worden afgedrukt. 

Volgens de these van Church is elke functie die berekenbaar is met 
behulp van een Pascalprogramma, ook berekenbaar met behulp van een 
of andere Turingmachine. Er moet dus ook een TM bestaan die dezelfde 
acties uitvoert als ons simulatieprogramma. Ook deze TM kan steeds 
beschikken over voldoende geheugencapaciteit en er bestaat dus een 
TM, U die als input aanvaardt e(M), de codering van een TM, 

M =(Q,X,T,P,q ,F) gevolgd door een scheidingssymbool, bijvoorbeeld 
* _ gevolgd door een string xET*. Gegeven de input e(M)*x stopt 
U dan en slechts dan met succes als M met succes stopt na input x. 
De output van U is dan gelijk aan die van M, dus gelijk aan fm (x). 

U stopt zonder succes na input e(M)*x desd als ook M zonder succes 
stopt na input x en U blijft hangen in een eindeloze lus na input 


e(M)*x desd als M na input x in een eindeloze lus geraakt. 


input 
Output is fue) desd als M met succes 
stopt na input x 


e(M)*x 
U Stopt zonder succes desd als M stopt zonder 


succes na input x 


Raakt in eindeloze lus desd als M in eindeloze 
Lus raakt na input x 


Figuur 3.1 Een universele Turingmachine 


In figuur 3.1 is een en ander nog eens samengevat. Een dergelijke 
Turingmachine heet een universele Turingmachine. Hoe deze machine 
er precies uitziet zal afhangen van de aard van de codering van de 
inputstring. We gaan ervan uit dat de gebruikte codering 'zinnig' is. 
Hiermee bedoelen we dat (i) er een of andere effectieve procedure 
bestaat waarmee e(M) uit M kan worden berekend, (ii) e(M), M uniek 
bepaalt en dat de codering effectief decodeerbaar is, (iii) de codering 
geen onnodige opvulling met loze symbolen bevat. Een zinnige codering 
kan bijvoorbeeld worden afgeleid uit een Gödelnummering van M, (zie 
hoofdstuk 2). 

Het probleem met de universele Turingmachine is dat deze andere 
Turingmachines eigenlijk te goed nabootst! Als M in een eindeloze lus 


raakt na input x, dan raakt ook de universele TM in een eindeloze lus 
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na input e(M)*x. De machine produceert dan geen output. Hoe kunnen 
we nu vaststellen wanneer we de universele TM kunnen afzetten? Deze 
kan zijn blijven hangen in een lus, maar het is ook mogelijk dat de 
machine zich midden in een berekening bevindt en uiteindelijk netjes 
zal stoppen. Veel bevredigender zou het zijn als we de universele TM 
zo konden aanpassen dat deze met gegeven input e(M)*x ofwel de 
functie fy berekent, ofwel het bericht geeft dat fy onbepaald 
is. Daartoe zou de machine U moeten kunnen vaststellen of M is blijven 


hangen in een lus. 


HET HALTINGPROBLEEM 


Een algoritme is een procedure die altijd een waarneembaar resultaat 
oplevert. Formeler kunnen we een algoritme definiëren als een Turing- 


machine die uiteindelijk altijd stopt. 


input 


Output 1 desd als M stopt na input x 
e(M)*x 


Output 0 desd als M niet stopt na input x en 
dus in een eindeloze lus geraakt 


Figuur 3.2 Een onmogelijke Turingmachine 


Als er een algoritme bestaat dat een bepaald probleem oplost, dan noe- 
men we dat probleem oplosbaar, zo niet dan is het onoplosbaar. In 
hoofdstuk 2 hebben we bijvoorbeeld aangetoond dat optelling en verme- 
nigvuldiging van gehele getallen oplosbare problemen zijn. Bestaat er 
nu ook een algoritme dat kan vaststellen of een Turingmachine al of 
niet zal stoppen na een bepaalde input; met andere woorden een algo- 
ritme dat het haltingprobleem of stopprobleem voor Turingmachines oplost? 
We formuleren de probleemstelling: gegeven een TM, M = (Q,X,T,P, qdo F? 
en een input xET*, wordt gevraagd of M uiteindelijk zal stoppen. 

We zoeken dus naar een TM, H die zich gedraagt zoals weergegeven 
in figuur 3.2 en we zullen bewijzen dat zo'n machine onmogelijk kan 
bestaan! De daartoe te formuleren stelling is niet alleen een zeer belang- 


rijke stelling, maar het bewijs is ook erg aardig en vrij subtiel. 
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Stelling 3.1 


Het haltingprobleem voor Turingmachines is onoplosbaar. 


Bewijs. We veronderstellen dat de gezochte TM, H bestaat en tonen 
aan dat deze veronderstelling tot een tegenspraak leidt. Construeer, 
uitgaande van de veronderstelling dat H bestaat, een tweede TM, H' 
en ga daarbij als volgt te werk. H' krijgt als input e(M), een codering 
van een Turingmachine M, en kopieert deze codering in een string 
e(M)*e(M). H' voert nu het programma van H uit met deze input, maar 
waar H als input 1 oplevert laten we H' in een eindeloze lus geraken. 
In figuur 3.3 is de werking van H' weergegeven. 

Nu vragen we ons af wat er gebeurt als H' de string e(H') als input 
krijgt. Op grond van bovenstaande constructie moet gelden dat H' in 
een eindeloze lus geraakt desd als H' stopt en dat H' stopt desd als 
H' in een eindeloze lus komt! 


In Lus desd als M stopt 
met input e(M) 


Output O desd als M niet stopt 
met input e(M) 


Figuur 3.3 De Turingmachine H' 


Hier is duidelijk sprake van een tegenspraak en dus bestaat H' niet 


en H evenmin. 


De onoplosbaarheid van het haltingprobleem voor Turingmachines is een 
opmerkelijk resultaat en dit heeft belangrijke gevolgen binnen de infor- 
matica. Omdat we een TM kunnen simuleren met een conventioneel com- 
puterprogramma dat gebruik maakt van een onbegrensd geheugen, moe- 
ten we concluderen dat we geen algoritme kunnen ontwerpen dat van 
een willekeurig programma met een willekeurige input kan vaststellen 
of dit zal stoppen of niet. Voor een bepaald programma kan weliswaar 
misschien wel worden vastgesteld dat het altijd zal stoppen, maar een 


algemene altijd werkende procedure hiervoor bestaat niet. 
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Gewoonlijk krijgt een programmeur een specificatie die precies om- 
schrijft wat zijn programma moet bewerkstelligen. De opdracht kan bij- 
voorbeeld zijn een programma in zeg Pascal te schrijven dat voldoet 


aan de volgende specificatie: 


INPUT: drie gehele getallen a, b en c 
OUTPUT: de twee wortels van de vergelijking ax? +bx+c =0 


(voor zover deze bestaan). 


Zoals zo vaak het geval is met specificaties in de praktijk, is ook deze 
specificatie onvolledig - een volledige specificatie zou ook aangeven wat 
de output moet zijn als de wortels niet bestaan, of als ze gelijk zijn, 

of als a = 0 enzovoort. Als dat allemaal is vastgesteld dan moet de 
programmeur een programma P schrijven dat aan specificatie S voldoet. 
Hij moet er zorg voor dragen dat het programma inderdaad het gestelde 
doel bereikt; in het ideale geval betekent dit dat hij voor alle mogelijke 
inputs waarvoor de specificatie S gedefinieerd is, moet bewijzen dat 
zijn programma P eindigt en de output genereert die volgens S bij de 
gegeven input behoort. Men noemt zo'n programma totaal correct. 

Als we nu beschikken over een programmeertaal waarmee we een 
Turingmachine kunnen simuleren dan weten we dat er geen algemeen 
toepasbaar algoritme bestaat waarmee kan worden bewezen dat een wille- 
keurig programma, gebruikmakend van onbeperkt geheugen, al dan niet 
zal stoppen. Zelfs als het geheugen, (zoals het geval is), eindig is dan 
nog is het probleem praktisch onoplosbaar, hoewel het theoretisch dan 
wel oplosbaar is. Elke machine van redelijke omvang kent zo veel toe- 
standen dat het onmogelijk in de praktijk te testen is of een van die 
toestanden opnieuw wordt bereikt. Het ziet er naar uit dat hier sprake 
is van een ernstig probleem binnen de computerwetenschap, (en dat is 
inderdaad het geval!). 

Het probleem kan op twee manieren worden geëlimineerd. Een moge- 
lijkheid is, onze programmeertaal dermate te beperken dat wel een algo- 
ritme kan worden ontwikkeld dat kan vaststellen of een willekeurig 
programma in die taal zal stoppen of niet na ontvangst van een bepaal- 
de input. Duidelijk is dat die beperkingen zo zwaar moeten zijn dat 
we in die taal de eenvoudige bewerkingen van een Turingmachine niet 


kunnen uitvoeren. Een betere benadering is wellicht het ontwikkelen 
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van algemeen toepasbare technieken die kunnen worden toegepast op 
programma's geschreven in de desbetreffende taal. Als deze technieken 
verstandig worden toegepast dan is het meestal mogelijk van een cor- 
rect programma te bewijzen dat het zal eindigen. Hoe de techniek er 
precies uitziet hangt af van de beschouwde programmeertaal. In Pascal 
bijvoorbeeld kan een programma in een eindeloze lus raken als een 
while-statement niet meer wordt verlaten. Een while-statement ziet er 


zo uit: 
while B do S 


Hier bij is B een Boole'se expressie en S een statement of instructie. 
De expressie B wordt berekend en als deze logisch waar blijkt te zijn 
dan wordt S uitgevoerd en wordt het while-statement opnieuw ingevoerd. 
Alleen als B logisch onwaar wordt, kan de herhaling stoppen en is het 
while-statement voltooid. Het while-statement kan dus ook geschreven 


worden als: 


if B then 
begin 

S; while B do S 
end 


Veronderstel dat de Boole'se expressie van de vorm xcc is, waarbij 
c een totale ordeningsrelatie is, x een variabele en c een constante. 
De programmeur kan nu misschien bewijzen dat de lus niet eindeloos is, 
tenminste als hij (of zij) kan aantonen dat als bijvoorbeeld x= Xi vóór 
de uitvoering van S, dat dan x =%X,, Met XCX ná de uitvoering 
van S. De waarde van x 'neemt dus toe! bij elke iteratie van het while- 
statement, maar het while-statement wordt alleen uitgevoerd zolang de 
waarde van x 'kleiner dan! c blijft. Onder voorbehoud dat de verzame- 
ling waarden die x kan aannemen c bevat en aftelbaar is, is men ver- 
zekerd van beëindiging. 

Technieken voor het bewijzen van de correctheid van programma's 
berusten gewoonlijk op de mathematische logica. Zie bijvoorbeeld 
Dowsing et al. (1985), 'A first Course in Formal Logic and its Applicat- 
ions in Computer Science', of Dijkstra en Feijen (1984), 'Een methode 
van programmeren'. In deze boeken worden eenvoudige regels geformu- 


leerd waarmee de programmeur de partiële verificatie van een correct 
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programma kan uitvoeren. Dit houdt in dat men aantoont dat als het 
programma eindigt dat het dan voldoet aan zijn specificatie. Eerlijk- 
heidshalve moeten wij toevoegen dat van de meeste programma's die 
worden geschreven nooit formeel de partiële correctheid wordt aange- 
toond, laat staan de totale correctheid. Veel programma's bevatten dus 
fouten met alle mogelijke gevolgen van dien (besturingsfouten bij geleide 
projectielen, instortende bruggen, verkeerde managementsbeslissingen, 
enzovoort). Het is de verantwoordelijkheid van de programmeur om cor- 
recte code af te leveren en geen enkele code kan correct worden ver- 
ondersteld als die correctheid niet bewezen is. Dergelijke bewijzen zijn 
moeilijk, vooral voor grote programma's en daarom beslist menig pro- 
grammeur dat het grondig testen van de programmatuur met behulp van 
een uitgebreide testset voldoende moet zijn. Zolang er geen algemeen 
toepasbare methode bestaat die kan worden uitgevoerd met behulp van 
daartoe ontwikkelde software-gereedschappen, zal het testen ongetwij- 
feld in zwang blijven. 

Het haltingprobleem voor Turingmachines is niet het enige onoplos- 
bare probleem - er bestaat een aanzienlijk aantal van dergelijke proble- 
men binnen verschillende toepassingsgebieden van de wiskunde en de 
informatica. Het bewijs van onoplosbaarheid kan vaak worden uitgevoerd 
door gebruik te maken van de bewezen onoplosbaarheid van het halting- 
probleem. In dit hoofdstuk en in het volgende hoofdstuk geven we 
daarvan enkele voorbeelden. Om de behandeling te vereenvoudigen 
spreken we een formele notatie af. 

Bij veel problemen is het mogelijk een overeenkomstig probleem te 
formuleren met als mogelijke uitkomsten 'ja' of 'nee'. Het probleem van 
het optellen van twee gehele getallen kan bijvoorbeeld worden geformu- 
leerd als 'gegeven de gehele getallen x, y en z wordt gevraagd: geldt 
Bek Pe e +y2!. Problemen met ja/nee oplossingen worden beslissingspro- 
blemen genoemd en, zoals gebruikelijk in de literatuur over bereken- 
baarheid, zullen we op dit soort problemen uitgebreid nader ingaan. 

We zullen beslissingsproblemen steeds in een standaardvorm formuleren. 
We beginnen met een omschrijving van het probleem, (mogelijk gevolgd 
door een verkorte naam). Vervolgens beschrijven we de gegevens bij 
het probleem en tenslotte formuleren we de gestelde vraag. Het optel- 


probleem ziet er dan zo uit: 
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Optellen van gehele getallen (SOM) 


Gegeven: Drie gehele getallen x, y en z 
Gevraagd: Geldt z = X+y? 


Een tweede beslissingsprobleem dat we behandelden luidt: 


Haltingprobleem (HP) 

Gegeven: Een Turingmachine M = (Q,X, T‚P,a,P) en een string 
EEIT. 

Gevraagd: Stopt M gegeven de input x? 


Algemeen kan men stellen als TM een beslissingsprobleem is dan 


bestaat er een verzameling D het domein van T, die alle mogelijke 


instanties of voorkomens es nes probleem vertegenwoordigt. Bij 
sommige van deze voorkomens is het antwoord 'ja' en bij andere 'nee!. 
We kunnen Di dus verdelen in twee disjuncte deelverzamelingen Ya 

en Nr respectievelijk de ja-instanties en de nee-instanties. We noemen 
TmT oplosbaar desd als er een TM, M bestaat die, gegeven een (zinvolle) 
codering e(I) van elke instantie I ED altijd stopt met succes en 

met een output die aangeeft of wel of niet geldt dat I EY Zonder 
verlies aan algemeenheid kunnen we veronderstellen dat de output 1 

is als ií E Yn en dat de output 0 is indien dat niet het geval is. Als 
er echter geen Turingmachine bestaat die aan bovenstaande eisen vol- 
doet, dan is het beslissingsprobleem onoplosbaar. SOM is een voorbeeld 
van een oplosbaar beslissingsprobleem en veel wat in hoofdstuk 2 behan- 
deld is staat in direct verband met dit soort probleem. In dit hoofdstuk 
formuleerden we een onoplosbaar beslissingsprobleem (HP) en we zullen 
spoedig zien dat dit niet het enige is! 

Beschouw twee beslissingsproblemen Ten M’. We zeggen dat T re- 
duceerbaar is naar T' (notatie Tat’) als een algoritme dat T’ oplost 
direct kan worden toegepast om T op te lossen. Formeler: Tar! desd 
als er een TM bestaat die als input e(I) accepteert, dat wil zeggen een 
codering van een willekeurig voorkomen van M, en die als output e'(I') 
oplevert, een codering van een voorkomen I' van TI, zodanig dat 
EY, desd als I'€ Yr: Steeds als we in dit boek het woord 'code- 
ring' gebruiken, bedoelen we een zinvolle codering en in dat geval is 


het gemakkelijk aan te tonen dat ~ transitief is (zie oefening 3.4). 
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Ook de volgende belangrijke eigenschappen kunnen worden afge- 
leid. 


Stelling 3.2 


(1) Als Mann’ en T' is oplosbaar dan is ook TM oplosbaar. 


(2) Als Tar’ en T is onoplosbaar dan is ook TI’ onoplosbaar. 


Bewijs. (1) Uit de definitie van ~ volgt dat I E Yi desd als I'€ Yir 
terwijl er een TM bestaat die gegeven de input e(I) voor elke I ED. 
als output e'(I') levert. Omdat nu TI’ oplosbaar is, bestaat er een an- 
dere TM die e'(I’) als input accepteert en vaststelt of al of niet 
r-e Yir . Het combineren van beide Turingmachines, zoals is weerge- 


geven in figuur 3.4, leidt nu tot een algoritme voor het oplossen van 


TM. 
T TM voor TES TM om TY’ op 
5 nan’ gar te lossen 


Figuur 3.4 Een TM voor het oplossen van TI 


1 desd als /' € Yy 
desd als / € Yn 

O desd als /' EN 
desd als / € Nn 


(2) Als TT' oplosbaar was dan konden we uit (1) afleiden dat ook T 


oplosbaar moet zijn en dit leidt tot een tegenspraak. 


Op grond van dit resultaat en op grond van stelling 3.1 kunnen we 
nu vaststellen dat een beslissingsprobleem m met HPAT onoplosbaar 
moet zijn. Deze conclusie zullen we gebruiken om te bewijzen dat de 


volgende problemen onoplosbaar zijn. 


Het lege woord haltingprobleem (eHP) 
Gegeven: Een TM, M= (Q,2,T,P, Ay F) 
Gevraagd: Stopt M gegeven de input e? 
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Het uniforme haltingprobleem (UHP) 
Gegeven: Een TM, M = (Q,2,T,P,4F) 
Gevraagd: Stopt M voor elke input xE€T*? 


HP ~ eHP volgt uit de volgende reductie. Uit een instantie I van 
HP met een TM, M= Q‚2,T,P,4,F) en een string xE€T* construe- 
ren we een instantie I' van HP met een TM, M'. M' wordt zodanig 
geconstrueerd dat eerst x op de tape wordt geschreven en vervolgens 
het gedrag van M wordt gesimuleerd. Duidelijk is dat M stopt bij een 
input xET* desd als M' stopt bij input €. Dus geldt IEY desd 
als I€ Yup: 
HP ~UHP volgt uit een overeenkomstige maar iets subtielere reduc- 


HP 


tie. Gegeven een instantie I van HP dat bestaat uit een TM, 

M = (Q, Z,T,P,q F) en een string xET* construeren we een in- 
stantie I" van UHP met een TM, M". M" wordt zodanig geconstrueerd 
dat eerst de input tape leeg wordt gemaakt, vervolgens x op de tape 
wordt geschreven en tenslotte het gedrag van M wordt gesimuleerd. 

M stopt dus na input x ET* desd als M" stopt voor alle inputs uit 
1": Dus geldt I EY desd als I"EY . We hebben met deze beide 


HP UHP 
reducties het volgende bewezen. 


Stelling 3.3 


(1) Het lege woord haltingprobleem (eHP) is onoplosbaar. 
(2) Het uniforme haltingprobleem (UHP) is onoplosbaar. 


Het probleem van het bewijs van de equivalentie van twee computer- 
programma's houdt direct verband met het bewijzen van de correctheid 
van computerprogramma's. Twee programma's zijn equivalent als zij 
precies dezelfde taak uitvoeren. In termen van Turingmachines hebben 
we al gedefinieerd dat twee Turingmachines M, = Q, ET, P} LATE 
F) en M, = (QZ, T,P, 
fM a fm We definiëren nu: 


AF) equivalent zijn, desd als 
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Het equivalentieprobleem voor Turingmachines (ETM) 


Gegeven: Twee Turingmachines M, = Q pT, P, Aj’ F) en 
M, = (QZT, , P, 42E) met hetzelfde inputalfabet T. 
Gevraagd: Is M, equivalent met M,? 


Het antwoord is weinig verrassend. 


Stelling 3.4 


Het equivalentieprobleem voor Turingmachines is onoplosbaar. 


Bewijs. We tonen aan dat UHPAETM. Zij een instantie I van UHP 
bepaald door een TM, M = (Q, Z,T,P,q F). Uit M kunnen we een twee- 
tape machine M' construeren die haar input op de tweede tape kopieert 
en vervolgens het gedrag van M simuleert. Als en alleen als M stopt, 
maakt M' zijn eerste tape schoon, schrijft een 1 op positie één en stopt 
zelf ook. M' berekent dus 

1 als M stopt gegeven input xE€T* 

fy œ = 

onbepaald anders 
Veronderstel nu dat M" de ééntape machine is die volgens stelling 2.4 
uit M' kan worden geconstrueerd. Dan geldt dat fy" = fur ‚ Dus 
£ EY UHP desd als fyn = 1 voor alle x€ T*. Een TM, M, die 
fM, (x) = 1 berekent voor alle x€T* is gemakkelijk te construeren. 
We definiëren M, eenvoudig als Miis 494,4, T U{ALT,P,q la, 
met 


Play = (aL, R) voor alle a€T U {A} 
en P(q a) = (q,‚A,0) voor alle a€T U {A} 


De instantie I" van ETM wordt nu bepaald door M" en M i zoals hier- 


= È 
UHP desd fy" fM, desd als T'E Yerm: 
Omdat er een effectieve constructie van I' uit I bestaat, volgt dat 


boven geconstrueerd. IE Y 


UHPAETM en omdat UHP onoplosbaar is, is de stelling bewezen. 
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POST'S CORRESPONDENTIEPROBLEEM 


Post's correspondentieprobleem (PCP) is ook een voorbeeld van een on- 
oplosbaar probleem. Het bewijs dat HPAPCP is behoorlijk lastig, maar 
niettemin het bestuderen waard. De onoplosbaarheid van PCP is een 
belangrijk resultaat; het wordt in veel gevallen gebruikt waar het gaat 
om het bewijzen van de onoplosbaarheid van problemen uit de formele 
taaltheorie. In hoofdstuk 4 zullen wij hiertoe ook van dit resultaat 
gebruik maken. 


In standaardvorm wordt PCP als volgt beschreven. 


Post's correspondentieprobleem (PCP) 
Gegeven: Een eindig alfabet T en twee n-tupels (n> 0) van strings 
; + k 4 
ee (Xas Xose eX) mowr (Yi Yg Y): 
Gevraagd: Bestaat er een rij gehele getallen l sigs 1m (m 21) 


ti a AE A r E ES ak. 
i im 


Legen me nig 

Een instantie van PCP met T = {0,1}, x = (011,11), y = (0,111) 
zit in Ypcp omdat er een ja-oplossing bestaat, namelijk veg, = 
YiY2Yz 7 0111111. Ook kan een voorbeeld worden gegeven van een voor- 
komen dat in Yocp zit, namelijk T = {0,1}, x = (01,100,010) en 
y = (010,00,100). (Zie ook oefening 3.6.) Dat men voorbeelden kan 
geven van voorkomens van PCP die wel en niet in Ypcp zitten wil nog 
niet zeggen dat PCP oplosbaar is. Het is zelfs zo dat PCP, zoals hier- 
boven geformuleerd onoplosbaar is. Bedenk dat alleen sprake is van 
oplosbaarheid als er een algoritme bestaat dat kan worden gebruikt 
voor het beantwoorden van de vraag of een willekeurige instantie 
IED 


PCP pcp ZÌt- 
Een iets gewijzigde versie van PCP zal in het navolgende van belang 


al dan niet in Y 


blijken te zijn. Hij luidt als volgt: 


Modificatie van Post's correspondentieprobleem (MPCP) 


Gegeven: Een eindig alfabet T en twee n-tupels (n> 0) van strings 
Ed 3e 2 
mies (Xj Xas eee LD) en y= WV): 
Gevraagd: Bestaat er een rij gehele getallen ii Aii in (m21) 


met isi RNN Eluens EN 
1 i i i Li i 
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Het enige verschil tussen MPCP en PCP is dat nu de eerste string uit 
elke n-tupel de index 1 moet hebben. We tonen aan dat als MPCP onop- 
losbaar is dat dan ook PCP onoplosbaar is en we gebruiken daartoe de 


volgende stelling. 


Stelling 3.5 

MPCP ~ PCP 

Bewijs. Zij I ED (pop bepaald door een alfabet T en twee n-tupels 
gos CENTERET D, en y= Wree) Zonder verlies van alge- 


meenheid mogen we veronderstellen dat T alleen symbolen heeft die in 
minstens één van de strings uit x of y voorkomen. Laten nu £ en $ 
twee symbolen zijn die niet in T voorkomen en zij T' = TU {£,$}. 
Definieer nu twee homomorfismen, links: T° > (T' en rechts: T° >(T' B 
door middel van links(a) = $a en rechts(a) = a$ voor alle a€T. De 
functie links plaatst een $ links en de functie rechts plaats een $ rechts 
van elk symbool in een string. 

Definieer vervolgens x' = Gel, Eine „er E) en y = YEY» e F 


2 
Yp’ $£) als volgt: 


x = concat($,rechts(x,)) 
xi = rechts (x) voor 1<i<n 
yi = links (y, ) voor l<i<m 


Als I' een instantie is van PCP bepaald door T', x' en y' dan is 
het niet moeilijk aan te tonen dat uit het feit dat 1,i geeen in een op- 
lossing is voor I, volgt dat 1,i reesi pnt een oplossing is voor I'. 


2 


Veronderstel nu dat i ,i oin een oplossing is voor I'. In dat 


1 , jg. > 
geval moet t =1 (immers alle strings in y' beginnen met $ en alleen 
X, in x begint met $) en ee n+l (want alle strings in x' behalve 
Be i eindigen met $ en geen enkel string in y' eindigt met $). Hieruit 
volgt dat 1,i pss ipi een oplossing voor I moet zijn. Als we de tot 
PCP desd 


als I EYMPCP' Omdat de constructie van I' uit I duidelijk effectief 


m'-1 
nu toe gevonden resultaten combineren dan volgt dat I'E€ Y 


berekenbaar is, is hiermee het bewijs geleverd. 
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Stelling 3.6 


HP ~ MPCP 


Bewijs. Zij I een instantie van HP, bestaande uit een TM, 

M = Q,2,T,‚P,a, F) en een string xET*. We zullen laten zien hoe 
op effectieve wijze een instantie I' van MPCP kan worden geconstru- 
eerd zodanig dat I E Yp desd als I'€ Y MPCP' 

Op grond van stelling 2.5 mogen we veronderstellen dat M een een- 
zijdig onbegrensde tape bezit en een voor de hand liggende kleine aan- 
passing in stelling 2.1 laat de veronderstelling toe dat M nooit zonder 
succes stopt. We kunnen nu een configuratie C = (q,i,a,a,B) van de 
TM, M voorstellen door één enkele string CE(QUI)*. C wordt voor- 
gesteld door C = ago, met LA = {-1, waarbij a, de string van 


symbolen links van de lees/schrijfkop voorstelt en a, = aß de string 


2 
van symbolen op de locaties i,i+1,i+2,... tot een het meest rechtse 


niet-lege symbool, (zie figuur 3.5). Merk op dat a, niet noodzakelijk 


1 
gelijk is aan a omdat a, kan beginnen met één of meer lege symbolen. 


Figuur 3.5 


De beginconfiguratie wordt voorgesteld door ag Stel dat daarop 
volgende configuraties aq, B, ‚aq Ba» vens On Am Em zijn met dt ER, 
We kunnen dan een voorkomen van MPCP construeren die een oplossing 
heeft met het prefix $apxsa, q,B,$---$a, ABS Het symbool $Z QUZ 
introduceren we als nieuw symbool. Als M niet stopt na input x dan 
zal het voorkomen van MPCP dat we construeerden geen oplossing heb- 
ben. 

Voor de constructie van de instantie I' van MPCP gaan we als 
volgt te werk. I' wordt gedefinieerd met het alfabet QU XU {$}, x =$ 
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en y, > $a xs vormen het eerste paar en de volgende corresponderen- 


de paren worden met behulp van de volgende regels geconstrueerd: 
(1) voor elke X€ > geldt dat X voorkomt in x en in y; 
(2) $ komt zowel in x als in y voor; 


(3) voor elke qEQ\F, q'EQ en X,Y,ZEX geldt 

(a) ZqX komt voor in x en q'ZY komt voor in y als 
Pig, X) = (q'.Y,L) j 

(b) qX komt voor in x en q'Y komt voor in y als 
P(q,X) = (q', 7,0) $ 

(c) qX komt voor in x en Yq' komt voor in y als 
P(q,X) = (q', Y, R) 

(d) Zq$ komt voor in x en q'ZY$ komt voor in y als 
P(q,^) = (q',Y,L) 

(e) q$ komt voor in x en q'Y$ komt voor in y als 
P(q,n) = (q',Y,0) x 

(f) q$ komt voor in x en Yq'$ komt voor in y als 
P(q,^) = (q',¥;R) 


(4) voor elke QEP; X; YEL 
(a) XqY komt voor in x en q komt voor in y 
(b) Xq$ komt voor in x en q$ komt voor in y 


(c) $qY komt voor in x en $q komt voor in y 


(5) voor elke qEF 


q$$ komt voor in x en $ komt voor in y; 


(6) behalve bovenstaande elementen komen geen andere elementen in 


xen y voor. 


Veronderstel nu dat er uitgaande van de beginconfiguratie van M 
een toegelaten rij configuraties bestaat, weergegeven door Agra, A, B,» 
aq B, A oP waarbij AA >*t Aj, geen eindtoestanden zijn. 
We beweren nu dat we elementen in y kunnen vinden die te samen de 
string saga q, B$. SA BS vormen. Evenzo vormen de corres- 


ponderende elementen van x de string $agxsa,q, B$. $a, $. 


kP 
Deze bewering kunnen we bewijzen door inductie naar k. Voor k= 0 
geldt de bewering omdat we allereerst het paar ($, $q x$) moeten kie- 


zen. Veronderstel nu dat de bewering geldt voor alle i<k en in het 
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bijzonder voor i = k-1. We kunnen dan dus elementen in y vinden die 
te samen de string $a,xsa,4,BS. So Aj B 4S vormen en zodanig 
dat de corresponderende elementen in x de string $q ge sa ‚4 NA ie 
"SO Aob, $ vormen. We willen nu de string Aje 1de 1-1 S 
aan x toevoegen. Alle symbolen in deze string behalve Ar kunnen we 
verkrijgen door gebruik te maken van de paren die we met de regels 
(1) en (2) construeerden. Maar omdat Ars gF kunnen we qk- 1 alleen 
verkrijgen uit een paar dat we construeren met behulp van regel (3). 
Dit laatste paar representeert een stap uitgevoerd door de Turing- 
machine en op deze manier corresponderen met de elementen van x die 
te samen ak-11k-1Pk-19 vormen juist die elementen van y die samen 
aak BS vormen. De veronderstelling geldt dus ook voor i=k en 
hiermee is het inductiebewijs voltooid. In feite hebben we zelfs een iets 
stringenter resultaat verkregen, namelijk dat elk vergelijkingsproces 
dat begint met ($, $q,x5) strings zal genereren van de zo juist beschre- 
ven vorm. 

Veronderstel nu dat we uiteindelijk een situatie bereiken waarin we 
een string Sapa, A, B, $... SO Hes 
hebben geconstrueerd en een string sq, sa 9, B, De. A BnS uit 


$ uit de symbolen van x 


de overeenkomstige symbolen van y. Stel verder dat dm EF. We kun- 
nen nu dọor gebruik te maken van de symbolenparen die worden gecon- 
strueerd met de regels (4) en (5) gemakkelijk een oplossing voor MPCP 
verkrijgen die de string $q ox sa 14; B $e e SA AES als prefix heeft. 
Als M met input x dus een eindtoestand bereikt dan heeft het voor- 
komen I' van MPCP een oplossing. Als echter M geen eindtoestand 
bereikt dan zal de string van symbolen uit y altijd langer zijn dan de 
string met corresponderende symbolen uit x en kan er dus geen oplos- 
sing voor dit voorkomen van MPCP bestaan. We hebben hiermee aange- 
toond dat I EY ip 
constructie van I' uit I effectief berekenbaar is, is hiermee de stelling 


' 
dan en slechts dan als I' € Y MPCP en omdat de 


bewezen. 


De volgende stelling volgt onmiddellijk uit de twee voorgaande. 


Stelling 3.7 


PCP is een onoplosbaar probleem. 
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ANDERE ONOPLOSBARE PROBLEMEN 


Onoplosbare problemen komen voor in veel verschillende takken van de 
wiskunde. We geven hier slechts drie voorbeelden. Lezers wier kennis 
van de wiskunde tekort schiet kunnen deze paragraaf gerust overslaan. 
Later in dit boek wordt niet op de hier verkregen resultaten terugge- 
grepen; we nemen ze alleen maar volledigheidshalve op voor geiïnteres- 
seerden in deze materie. In het volgende hoofdstuk worden weer voor- 
beelden gegeven van onoplosbare problemen die wat gemakkelijker te 
begrijpen zijn. 

Ons eerste voorbeeld staat bekend als Hilbert's tiende probleem. 


X 


Beschouw een polynoom p(X,» o T Xa) met variabelen Xa Xose ea 


en geheeltallige coëfficiënten. De vergelijking 
P(X» Xo» tee T = 0 


heet een diophantische vergelijking als men geheeltallige oplossingen 
eist. Natuurlijk hebben dergelijke vergelijkingen vaak geen oplossingen; 
zo heeft bijvoorbeeld x?-2 = 0 geen geheeltallige oplossing. In het 
jaar 1900 hield de wiskundige Hilbert een beroemde lezing, waarin hij 
een aantal problemen formuleerde die naar zijn mening door wiskundigen 
in de twintigste eeuw zouden moeten worden bestudeerd. Zijn tiende 
probleem was of er al dan niet een effectieve procedure bestaat om vast 
te stellen of een bepaalde diophantische vergelijking een oplossing heeft. 
Pas in 1972 toonde Matijacevië aan dat het bepalen van de existentie van 
oplossingen van diophantische vergelijkingen ook een onoplosbaar pro- 
bleem is. Het werk van Matijacevië bouwde voort op eerdere studies op 

dit gebied door M. Davis, J. Robinson en H. Putman. Zie bijvoorbeeld 
Bell & Machover (1977) voor een gedetailleerde behandeling. 

Binnen de mathematische logica komen ook een aantal onoplosbare 
problemen voor. Het meest fundamentele probleem, dat ook in elk leer- 
boek over dit onderwerp wordt behandeld, is dat van de validiteit van 
de eerste orde predicatenlogica. Het is dan en slechts dan mogelijk 
een axiomastelsel voor de predicatenlogica te formuleren waarmee elke 
bewering uit deze logica kan worden bewezen, als deze logica valide is, 
dat wil zeggen waar onder iedere mogelijke interpretatie. In Church 
(1936b) wordt bewezen dat bewijsbaarheid (en dientengevolge validiteit) 


in de predicatenrekening onoplosbaar is. Dit is waarschijnlijk het meest 
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fundamentele onoplosbaarheidsprobleem in de gehele wiskunde. Binnen 
de computerwetenschap betekent het dat automatisch bewijzen van stel- 
lingen slechts ten dele mogelijk is. In Dowsing, Rayward-Smith & Walter 
(1985) wordt hierop nader ingegaan. Het probleem van het automatisch 
bewijzen van stellingen heeft directe invloed op de mogelijkheden bij 
het gebruik van de logica als programmeertaal (zie Kowalski 1979). 
Ons laatste voorbeeld stamt uit de groepentheorie. Stel G is een 
groep met eenheidselement e en met elementen x 1% ... Een woord 
in G is iedere string die uit deze elementen wordt geconstrueerd door 
gebruik te maken van de groepoperator * en inversen. Bijvoorbeeld 
B A en ; is een woord in G. Daar G gesloten is onder * en 
de inverse, stelt elk woord een element in G voor. Het volgende pro- 


bleem is onoplosbaar. 


Woordprobleem voor groepen (WPG) 
Gegeven: Een groep G en een woord win G. 


Gevraagd: Is w= e, het identiteitselement van G? 


Als we het probleem beperken tot eindige groepen dan is het wel 


oplosbaar. 


OEFENINGEN 


1. Laat zien hoe een TM kan worden gecodeerd als een string in 


{0,1}*. Geef duidelijk aan welke veronderstellingen u maakt. 


2. (a) Ontwerp een TM, M die het resultaat 1 oplevert voor alle inputs 
uit {0,1}*{00}, maar die 0 oplevert voor alle andere inputs in 
{0,1}*. 
(b) Definieer het probleem geheeltallige deling door vier in de stan- 
daard notatie. Gebruik uw antwoord op deel (a) om te laten 


zien dat dit probleem oplosbaar is. 


3. Als M een beslissingsprobleem is dan is het complement van T, ne 
gedefinieerd als T met ontkenning van de vraag. Toon aan dat ne ar 


en dat TI dus oplosbaar is desd als ne oplosbaar is. 
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. Bewijs dat ~ reflexief en transitief is maar niet symmetrisch. 


. Bewijs dat het volgende probleem oplosbaar is. 


Houdt soms halt (SH) 
Gegeven: Een TM, M= (Q, Z, T,P,qo F). 
Gevraagd: Bestaat er een xE€T* zodanig dat M stopt na input x? 


. Laat zien dat T = {0,1}, X > (01,100,010), y = (010,00,100) een 


voorkomen is van PCP binnen Npcp: 


. Is PCP oplosbaar als het alfabet wordt beperkt tot slechts één sym- 


bool? En hoe zit het bij twee symbolen? 


. Construeer een voorkomen van MPCP dat overeenkomt met het voor- 


komen van HP met de TM die de functie kop berekent met de input 
011 (zie figuur 2.4c). 


. Gebruik uw antwoord op vraag 8 om een voorkomen van PCP te con- 


strueren dat overeenkomt met het gegeven voorkomen van HP. 


Formele Talen 


. een belangrijk deelgebied van de informatica 


J.E. HOPCROFT & J.D. ULLMAN 


Formele Talen en hun Relatie tot Automaten 


TURINGMACHINES ALS HERKENNERS 


Een TM die een beslissingsprobleem T oplost, gedraagt zich in principe 
als een herkenner; de machine herkent of een gegeven input e(I) al of 
niet voorkomt in de een of andere taal Lie = {e(I)|I€ Ya? In dit 
hoofdstuk zullen we ons bezighouden met de talen die voor Turingma- 
chines herkenbaar zijn en we zullen hun eigenschappen bestuderen. 

Een taal Lc&T* heet recursief dan en slechts dan als er een Turing- 
machine bestaat met inputalfabet T, die de karakteristieke functie van 
L berekent, 

I als xcL 
xy (0) = 
0; als ET ALs 
Merk op dat een ongedefinieerde output voor enige input x€T* hier 
niet is toegelaten. De TM moet dus altijd stoppen met succes en daarom 
kan de TM voor elke xE€T* beslissen of «EL. 

Recursieve talen kunnen ook op een andere maar equivalente wijze 
worden gekarakteriseerd. We zeggen dat een string xE€T* wordt geac- 
cepteerd door een TM, M= (@Q@,x,T,P‚,q ,F) desd als M stopt met suc- 
ces na input x. Een string xET* wordt geweigerd door de TM desd 
als M stopt zonder succes na input x. Als M in een eindeloze lus 
geraakt na input x dan kunnen we noch beweren dat. M x accepteert, 


noch dat M x weigert. 
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Stelling 4.1 


LcT* is recursief desd als er een TM, M= (Q,2,T,P,a,,F) bestaat 
zodanig dat M alle xE€L accepteert en alle xE€T*\L weigert. 


Bewijs. >»: L is recursief en we mogen dus veronderstellen dat er een 
TM, M' bestaat die XI, berekent. Op grond van stelling 2.5 mogen we 
aannemen dat M' een TM is met een eenzijdig onbegrensde tape. M' kan 
niet stoppen zonder succes omdat Xz, een totale functie is. We kunnen 
nu uit M' een TM, M eonstrueren, eveneens met een eenzijdig onbe- 
grensde tape. M bootst de werking van M' na, maar plaatst een merking 
in locatie 1 op de tape, zodanig dat als M' tijdens een berekening een 
symbool XE YX op locatie 1 heeft staan, M daar het paar (X,*) heeft 
staan. Het symbool * is nieuw en heeft geen verdere invloed op de 
berekening; het is louter een merking van locatie 1 op de tape. Op het 
moment dat M' zou stoppen, gebruikt M deze merking om (zonodig) de 
lees/schrijfkop naar locatie 1 te bewegen. Als daar het paar (1,*) wordt 
gelezen dan komt M in zijn unieke eindtoestand q f Als (0,*) wordt 
gelezen dan is er geen volgende actie gedefinieerd. 

<: We gebruiken opnieuw stelling 2.5 en veronderstellen zonder ver- 
lies aan algemeenheid dat M een TM is met eenzijdig onbegrensde tape. 
We veronderstellen verder dat aan M= (Q,2,T Pq F) een extra 
toestand q d is toegevoegd, zodanig dat de waarde van P(q‚a) in alle 
gevallen waarin deze ongedefinieerd was nu gelijk wordt aan (q je). 
De aangepaste TM kan dus alleen een inputstring verwerpen in toestand 
Ag: De constructie van een eenzijdig begrensde TM, M' ter berekening 
van xj is nu eenvoudig. M' bootst de werking van M na, maar merkt 
weer locatie 1. Als de simulatie van de aangepaste machine M leidt tot 
het bereiken van toestand q g’ dan zoekt M' locatie 1 op en schrijft 
daar een 0 gevolgd door het symbool A op locatie 1. Vervolgens stopt 
M'. In alle andere gevallen komt de aangepaste M in een toestand uit 
F. Ook nu gaat M' naar locatie 1, maar schrijft daar nu een 1, gevolgd 
door een A op locatie 2 en stopt. | 

Helaas bestaat de mogelijkheid dat een TM in een eindeloze lus 
geraakt na een bepaalde input. In hoofdstuk 3 toonden we aan dat het 
haltingprobleem onoplosbaar is en dat we dus op geen enkele manier 


kunnen vaststellen of een willekeurige TM, M al of niet zal stoppen na 
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een willekeurige input xE€T*. Onze definitie van recursiviteit laat niet 
toe dat een TM in een lus terecht komt en dus kunnen niet alle door 
TM's herkenbare talen er mee worden gekarakteriseerd. We definiëren 
daarom de verzameling van recursief enumereerbare (r.e.) talen in T* 
als die talen LcT* waarvoor een TM bestaat die de partiële karakte- 
ristieke functie van L berekent: 

1 als XEL 

xj (X) = 

onbepaald als xET*\L 
Nu kan de TM voor iedere xE€L bevestigen dat x in L voorkomt, maar 
voor een willekeurige xET* kan het voorkomen dat er helemaal geen 
output wordt geproduceerd. We kunnen nu eenvoudig de volgende stel- 


ling bewijzen. 


Stelling 4.2 


Elke recursieve taal is recursief enumereerbaar. 


Bewijs. Pas eenvoudig de TM, M die XL berekent zo aan dat deze in een 


eindeloze lus geraakt in plaats van te stoppen met output 0. 


De omkering van deze stelling is niet waar; wellicht weinig verras- 
send na lezing van het vorige hoofdstuk. Toch is hier sprake van een 
belangrijk resultaat omdat hieruit blijkt dat men in het algemeen niet 
alleen niet vast kan stellen of een TM zich in een eindeloze lus bevindt, 
maar dat in zekere zin het terecht komen in een eindeloze lus onvermij- 
delijk is. Om te laten zien dat er r.e. talen zijn die niet recursief zijn 
zullen we eerst wat eigenschappen van de talen die we definieerden 


afleiden. 


Stelling 4.3 


(1) Recursieve talen zijn gesloten onder vereniging, doorsnede en con- 
catenatie van verzamelingen. Dat wil zeggen: als LLS Fre 
cursief zijn dan geldt dit ook voor LE L, L, E€ L, en LL. 
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(2) Recursief enumereerbare talen zijn gesloten onder vereniging, 


doorsnede en concatenatie. 


Bewijs. We geven een schets van het bewijs dat recursieve talen geslo- 
ten zijn onder vereniging. De andere bewijzen verlopen analoog. 


Veronderstel dat berekend worden door respectievelijk de 


Xr. ?X 
TM's M, en M. heo een als volgt te construeren 3-tape 
machine M. Na elke input xE€T* op zijn eerste tape, kopieert M deze 
input naar tape 2 en 3. Op tape 2 bootst M de werking van M, na en 
op tape 3 die van M,- Als uit de simulatie blijkt dat zowel xEL, als 
XE L, dan maakt M zijn inputtape op locatie 1 na leeg. Op locatie 1 
schrijft M het symbool 1. In alle overige gevallen maakt M zijn inputtape 


eveneens schoon, maar schrijft een 0 op locatie 1. 


Stelling 4.4 


Recursieve talen zijn gesloten onder complement. Dat wil zeggen als 


LgcT* recursief is dan is ook L = T*\L dat. 


Bewijs. Als M L herkent dan herkent M L. M wordt uit M geconstrueerd 


door elke output 1 door een output 0 te vervangen en omgekeerd. 


We kunnen nu alle strings in T* aftellen zodat Xi de i-de string 
voorstelt, (zie oefening 4 uit hoofdstuk 1). We kunnen ook een verza- 
meling van TM's aftellen die r.e. talen in T* herkennen, zodanig dat 
elke r.e. taal in T* door minstens één machine wordt herkend, (oefe- 
ning 4.1). Stel Li is de i-de taal en deze wordt herkend door de TM, 
Mi» Dus geldt x ELi desd als fu; ~p = 1. Laten we nu de taal 


Fi {x le, EL;} 


eens bekijken. 


Stelling 4.5 


Li is een r.e. taal, maar Lj is dat niet. 


Formele talen 91 


Bewijs (Schets). L gq wordt herkend door een machine M d die als volgt 
werkt. Als M q een input x €T* krijgt dan begint M gq eerst met de 
aftelling XiX... van T* om de index i met x;=x te bepalen. Mg 
genereert dan de codering van een machine M; en geeft de besturing 
over aan een universele TM die M; met input Xi simuleert. Dus geldt 
dat x=X, met fu; = 1 desd als fM = 1. Dus fMa SMIL 
dus is L qr: | 


d? 


Als ook L g” T*\L q T: is dan moet deze taal herkend worden 
door een of andere TM, M d met inputalfabet T. Bij enumeratie van deze 
TM's volgt M, = M,„ voor een of andere k. Dus geldt x, €E, desd 


d k k.a 
als xj, herkend wordt door M Uit de definitie van L q Volgt echter dan 


RL d desd als Xh niet wordt herkend door M, . Uit deze tegenspraak 


k — 
volgt dat L 


k` 
d niet r.e. kan zijn. 


Hiermee hebben we laten zien dat recursieve talen gesloten zijn onder 


complement, maar dat dit niet geldt voor r.e. talen. We bewezen dus: 


Stelling 4.6 


Niet elke r.e. taal is ook recursief. 


NIET-DETERMINISTISCHE TURINGMACHINES 


Toen we in hoofdstuk 2 het begrip Turingmachine definieerden, defini- 
eerden we een programma als een partiële functie van (Q\F) K S 
Qx5x{L,R,0}. Door te eisen dat een programma een functie is, zorgen 
we ervoor dat P(q‚a), qEQ\F, a Ex, steeds hoogstens één waarde kan 
hebben. We kunnen ook een minder strenge eis stellen en als we toela- 
ten dat de machine meer dan één mogelijkheid heeft voor zijn volgende 
stap dan noemen we de machine niet-deterministisch of nondeterminis- 
tisch. Een niet-deterministische Turingmachine (NDTM) wordt formeel 
gedefinieerd op dezelfde wijze als een deterministische, behalve dat nu 
het programma een functie (Q\F) xE > gel L,R,O} wordt. Dus 
gegeven qEQ\F is P(q‚a) nu een verzameling van mogelijke volgen- 
de acties. (Deze verzameling kan ook leeg zijn.) 
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We zeggen dat een string «xET* geaccepteerd wordt door een 
NDTM, :M-=:(Q,2, £, P, qdgF) desd als er een of andere rij keuzes van 
acties bestaat waardoor M na input x uiteindelijk in een eindtoestand 
terecht komt. De verzameling van al dergelijke strings wordt weerge- 
geven door T(M), de taal geaccepteerd door M. Een deterministische 
TM kan worden gezien als een NDTM zodanig dat voor q€EQ\F, a€ >, 
P(q,a) ofwel leeg is, ofwel een singletonverzameling. Het is vervolgens 
niet moeilijk, gebruikmakend van eenzelfde redenering als in het bewijs 


van stelling 4.1 om de volgende stelling te bewijzen. 


Stelling 4.7 


L wordt geaccepteerd door een deterministische TM desd als L r.e. is. 


Als we weten dat deterministische TM's iedere effectief berekenbare 
functie kunnen berekenen, dan vertegenwoordigen r.e. talen de verza- 
meling van 'effectief herkenbare' talen. Men zou dus niet verwachten 
dat een uitbreiding naar nondeterminisme het mogelijk maakt voor een 
TM om niet r.e. talen te accepteren en dat is dan ook niet zo. Non- 
determinisme heeft eigenlijk alleen betekenis als het gaat het het ver- 
groten van de rekensnelheid, (zie hoofdstuk 6). 


Stelling 4.8 


L wordt geaccepteerd door een nondeterministische TM desd als L r.e. 


is. 


Bewijs. «e: een onmiddellijk gevolg van stelling 4.7 omdat we een deter- 
ministische TM kunnen beschouwen als een beperkte NDTM. 

>: we moeten aantonen dat L wordt geaccepteerd door een determi- 
nistische TM als L wordt geaccepteerd door een NDTM. Veronderstel 
dat M = (Q,X,T,P,q ,F) een nondeterministische machine is zodanig 
dat L = L(M). We zullen nu de constructie beschrijven van een deter- 


ministische TM, M' met M'= T(M'). Beschouw de verzamelingen P(q,a), 
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qeQ en aE€ en zij m de maximale cardinaliteit van deze verzame- 
lingen. Als m=1 dan is M deterministisch en hebben we niets te 
bewijzen. We veronderstellen dus m>1. Iedere eindige rij van keuzes 
van acties voor M kan worden gecodeerd als een eindige rij getallen uit 
de getallen 1,2,...,m. Niet iedere rij zal een mogelijke rij acties voor- 
stellen omdat #P(q‚a) kleiner dan m kan zijn voor een qEQ en 
nes, 

M' is een 3-tape TM. Op de eerste tape schrijven we de input 
xET*, Op de tweede tape genereert M' alle mogelijke rijen uit de getal- 
len 1,2,...,‚m in lexicografische volgorde. Dat wil zeggen beginnend 
bij de kortste rijen en van klein naar groot. Bij elke gegenereerde rij 
wordt de input naar tape 3 gekopieerd en op tape 3 simuleert M' de 
machine M, waarbij de inhoud van tape 2 wordt gebruikt om de juiste 
actie te kiezen. Als er voor een bepaald getal in de rij geen bijbehoren- 
de actie bestaat dan stopt M' met het simuleren van M, tape 3 wordt 
leeg gemaakt, de volgende rij wordt op tape 2 gegenereerd en de simu- 
latie van M wordt opnieuw begonnen met een nieuwe kopie van de input 
x op tape 3. Als er een rij keuzes van acties bestaat die leidt tot accep- 
tatie van x door M dan komt deze rij uiteindelijk ook voor op tape 2 
van M'. Als M' die rij bereikt dan wordt M gesimuleerd en wordt ook 
door M' de input x geaccepteerd. Als een dergelijke rij niet bestaat 
dan genereert M’ steeds langere rijen van mogelijke acties en geraakt 


op deze wijze in een eeuwige lus. 


FRASESTRUCTUUR GRAMMATICA'S 


Frasestructuur grammatica's bestaat uit een eindige verzameling van 
afleidingsregels (produktieregels genaamd) waarmee strings kunnen wor- 
den gegenereerd. Deze strings worden gevormd met behulp van een of 
ander alfabet van terminale symbolen T. Verder gebruikt de grammatica 
ook een alfabet N van niet-terminale symbolen. De alfabetten T en N 
hebben geen symbolen gemeen. De afleidingsregels zijn alle van de vorm 
a>B met aE(NUT)* en BE(NUT)*. Als we beginnen met een voor- 
geschreven startsymbool S uit N dan kan een string uit T* worden 
gegenereerd door herhaaldelijk substrings die overeenkomen met een 
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linkerlid van een produktieregel te vervangen door het bijbehorende 
rechterlid. 
Een eenvoudige grammatica met N = {S,A,B} en T = {a,b} kan 


bijvoorbeeld de volgende produktieregels hebben. 


S > A 
S>B 
A > aÂ 
A>a 
B > bB 
B > b 


Uit S kunnen we A of B afleiden. Leiden we A af dan kunnen we ver- 
volgens in één stap de string a afleiden en in twee stappen de string 
aa (dit laatste kan door uit A eerst aA af te leiden en vervolgens A 
door a te vervangen). In k stappen kunnen we zo een string van k a's 
genereren en op dezelfde manier kunnen we uit B een string van k b's 
afleiden in k stappen. 

Als uit een string a een string B kan worden afgeleid door een van 
de produktieregels uit de grammatica toe te passen dan schrijven we 
a>B. Als geldt dat a,=a,,a, a 4 > dan korten we dit af 


Ne hek” de n-i n 


tot a> AS. SA, of nog korter tot a, Ša: Uitgaande van de in 


het voorgaande gegeven grammatica krijgen we dan dat 
S=» A »ađaA »aaA >aaa 


een toegelaten afleiding van a? uit S is. Zo'n afleiding kunnen we ook 


weergeven met behulp van een afleidingsboom zoals in figuur 4.1. 


8) 
Q 

© Q 
DRES 


Figuur 4.1 
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We zullen nu de gebruikte begrippen formeel beschrijven. 

Een frasestructuur grammatica (PSG) is een 4-tupel G = (N,T,P,S) 
met 
(1) N is een eindige verzameling van nonterminale symbolen. het is 
gebruikelijk de elementen van N weer te geven door hoofdletters (moge- 
lijk met subscripts). 
(2) T is een eindige verzameling van terminale symbolen, zodanig dat 
NNT = Ø. Gewoonlijk worden de elementen van T weergegeven door 
kleine letters (mogelijk met subscript en meestal uit het begin van het 
alfabet). 
(3) P is een eindige verzameling produktieregels van de vorm a>B, 
waarbij a het linker lid van de regel zodanig is dat a€(N U H ter- 
wijl B, het rechterlid zodanig is dat BE(NUT)*. 
(4) SEN is een speciaal symbool, aangewezen als startsymbool van 
de grammatica. 

De PSG uit ons voorbeeld kan dus formeel worden beschreven door 
het quadrupel G, = ({S,A,B},{a,b},P,S) waarbij P de volgende ver- 
zameling produktieregels voorstelt 


{S >A, S >B,A >@aA,A >a,B >bB,B> b}. 


Meestal gebruiken we niet de formele verzamelingtheoretische notatie, 
maar schrijven we de produktieregels uit als een lijst, waarbij we het 
teken | gebruiken in de betekenis van 'of'. Bovenstaande produktiere- 


gels worden dan 


S >A|B 
A >aAla 
B >bB|B 


Door het gebruik van grote en kleine letters voor nondeterminalen en 
terminalen hoeven we alleen maar de produktieregels en het startsym- 
bool te specificeren om de grammatica te beschrijven. Als we vast af- 
spreken dat we het startsymbool met S weergeven dan hoeven we ook 
dat niet verder te specificeren. 
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Beschouw nu de PSG G, met produktieregels 


S >aSBC|aBC 
CB >BC 
aB >ab 
bB >bb 
bC >bc 


eC >ce 


Dit is een voorbeeld waarin de linker leden van de produktieregels niet 
allen uit enkele nonterminalen bestaan. Men kan aantonen dat uit S 
elke string van de vorm apc" (n> 1) kan worden geproduceerd. 


Bijvoorbeeld 


S > aSBC 
>aaBCBC (gebruik S—>aBC) 
> aabCBC (gebruik aB > ab) 
> aabBCC (gebruik CB >BC) 
> aabbCC (gebruik bB > bb) 
> aabbcC (gebruik bC > bc) 
> aabbce (gebruik cC >cc) 


is een toegelaten afleiding van a?b?c?. 

Hiermee moet het intuitieve begrip 'afleiding' duidelijk zijn. We zul- 
len nu gebruik maken van de formele definitie van een grammatica om 
precies te formuleren wat het betekent als een string afleidbaar is bin- 
nen een bepaalde grammatica. Zij G = (N,T,P,S) een willekeurige 
PSG en zij Yay, E(N U T)“ een string van terminalen en nonterminalen 
met lengte groter of gelijk 1. Als &>ß een produktieregel in P is dan 
kan a in Y AY, vervangen worden door B zodat we Yı BY, krijgen. We 
schrijven dan 


Yer G Yı BY, 


[lees: Y aY, genereert Yı BY, of Y BY, is afgeleid uit 4 aY, k 


x 
pter ECNUT) en a, 4 rs ed EE a, dan 


s + 
schrijven we a, ra a, dese Z a, of korter a, 5 a [ lees: a, gene 


Als aa 
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reert a, in één of meer stappen]. Dus is 2 de transitieve insluiting 
van de relatie eS De reflexieve insluiting van 3 wordt weergegeven 


door > en dus geldt « 2 0, desd als a, =a. of o, > a 


1 1 n ion 

Als a«E€(NUT)* zodanig is dat S $ a dan heet a een sequenti- 
ele vorm van G. Een zin uit G is iedere sequentiële vorm in T*, dat. 
wil zeggen een terminale string die uit S kan worden afgeleid. De taal 
gegenereerd door G, L(G) is gedefinieerd als de verzameling van alle 


zinnen uit G. Dus geldt 
L(G) = {xe T*|S sx}. 


In veel gevallen is de grammatica G waarnaar we verwijzen duidelijk 
uit de context. In dergelijke gevallen kunnen we het subscript G weg- 
x 


; a j + 
laten uit Z k ek Z en dus schrijven =>, >, >. 


Als we de voorbeelden G ‚en G, die we hierboven behandelden, 
gebruiken dan kan de lezer verifiëren dat 
R 


L(G) = {a"°|n>1} u {b"|n>1} 


en 
L(G) = {a"b"c"|n > 1} 
Het kan voorkomen dat twee verschillende grammatica's G en G' de- 
zelfde taal L(G) = L(G') genereren. In dit geval heten de grammati- 
ca's equivalent. We geven een voorbeeld van een grammatica G, die 


equivalent is met G, 


S > aA|bB|aļ|b 
A > aAla 
B > bB|b 


Frasestructuur grammatica's vormen een algemeen toepasbaar mecha- 
nisme voor het genereren van talen en Turingmachines zijn geschikt 
voor het herkennen daarvan. Het volgende resultaat komt daarom waar- 
schijnlijk niet als een grote verrassing, maar het is wel een verdere 


onderbouwing van de these van Church. 
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Stelling 4.9 


LST* wordt gegenereerd door een PSG, G = (N,T,P,S) desd als L 


ro. ig: 


Bewijs. =: We beschrijven een nondeterministische TM, M zodanig dat 
L = L(M). Het tape alfabet van M bevat NUT en ook het symbool ^. 
Van dit laatste symbool veronderstellen we dat het geen element van 
NUT is en verder introduceren we een speciaal symbool $E&NUTU{A}. 
Initieel staat op de tape van M een string xE€T*. M kopieert deze naar 
de locaties -|x|,...,-1 en merkt locatie 0 met het symbool $ en 
schrijft vervolgens het symbool S op locatie 1. M simuleert nu nonde- 
terministisch een afleiding binnen G op het positieve gedeelte van haar 
tape. Veronderstel dat op een bepaald moment de string A, A, 8 Ak s 
A; ENUT, i=1,...,k staat op de locaties 1,2,...,k,k+1. M kiest nu 
op nondeterministische wijze de locaties i>0 en j>i. Mocht i of j 
het symbool A bevatten dan wordt er opnieuw een keuze gemaakt. M 
onderzoekt nu de substring AA, 1A en als dit het linkerlid is 
van een produktieregel in P dan wordt deze vervangen door het bij- 
behorende rechterlid. Het is daarbij mogelijk dat de string Ai; EE Aj, 
naar links of naar rechts moet worden verschoven om ruimte te maken 
of om lege ruimte op te vullen. Het proces wordt herhaald totdat de 
simulatie van de afleiding kan stoppen omdat de tape geen nonterminale 
symbolen meer bevat, De tape bevat nu de string x$y voor de een of 
andere x,y €T*. De TM stopt nu als x=y, maar als dat niet het geval 
is dat wordt de string y verwijderd, vervangen door S en de simulatie 
wordt opnieuw begonnen. 

=: We mogen veronderstellen dat L geaccepteerd wordt door een een- 
zijdig begrensde TM, M = (Q,X,T,P‚q ,F). We mogen verder aannemen 
(zie opgave 4.4) dat M nooit een leeg symbool op haar tape zet. We 
zullen nu een PSG, G construeren die L genereert. Het komt er op neer 
dat G twee kopieën van een string xeET* genereert en de acties van 
M op één van de twee strings uitvoert. Als M de string accepteert dan 
converteert G de eerste kopie van de string naar een rij terminale sym- 
bolen. Als M de string niet accepteert dan wordt geen terminale string 
geproduceerd. 


Formeel definiëren we de niet-terminale symbolen van G als 
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([T U {e}] xI) UQ U ÍS,,S,,S3} waarbij SS S3 EQ terwijl S, het 


startsymbool voorstelt. De produktieregels luiden nu als volgt. 


Initialisatie produktieregels 


1 

4 [a,a]S, voor elke a€T 
2 * Sz 

z% [ e, al]S, 


GA 


Simulatie produktieregels 

[b, Zlqla,X]l >q' [b, Z] [a,Y] voor alle a,bE€TU{e},ZEX en voor alle 
q-q' € Q,X, YEZ zodat 
P(q,A) = (q',Y,L) 

qla,X] > [a,Y]q' voor alle a€TU{e} en voor alle 
q,q'€@,X,YEL zodat 
P(q,A) = (q', Y; R) 

qla,X] > q'[a,Y] voor alle a€ETU {e} en voor alle 
q.q'€ Q,X,YEXZ zodat 
P(q4;X) = (q'; Y0). 


Finale produktieregels 


[a,X]q > qaq en voor alle a€ETu{€},XEZ en 
qla,X] > qaq qeF 
18 


xX 
Nu geldt S, 5 qo l9; a, l[a, ‚a, l...La,,a,lS, voor elke a, ET, 
i = 1,2,...,n. Veronderstel dat M aa. 
een kèn zodat M alleen de locaties 1,2,...,k gebruikt. Uit S, kun- 


aha E€T* accepteert dan is er 


nen we de string qla „a [a ‚al... CERTES ke genereren met 

m = k-n door alleen van de initialisatieregels gebruik te maken. Ver- 

volgens simuleren we, gebruik makend van de simulatie produktieregels 

de actie van M op de tweede componenten van de geordende paren, 

waaruit de string bestaat. Door middel van inductie naar het aantal 

stappen in de afleiding kunnen we nu aantonen dat Ala, a ‚ila,a,l. 4E 
m * 

adien S aX lia X abo Xale aX h la Xn 

desd als de TM, M gegeven de input a a. een configuratie 

Car, Xpo X pg X e ront ngi Xn) kan bereiken. Alleen wan- 


1% tte ah 
neer de TM vervolgens een eindtoestand qE€F bereikt, kunnen de 
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finale produktieregels uit de grammatica worden gebruikt om a,a,...a, 


te genereren. Op deze wijze bewijzen we dat S, Sa desd als 


ana 
EP n 
aa... ETOM). En dus genereert M de taal L = T(M). 


Twee belangrijke beslissingsproblemen staan in direct verband met 
PSG's. 


Elementprobleem voor PSG's (Membership problem MPSG) 
Gegeven: Een PSG, G = (N,T,P,S) en een string xET* 
Gevraagd: Is x€ L(G)? 


en het 


Leegheidsprobleem voor PSG's (Emptiness problem EPSG) 
Gegeven: Een PSG, G = (N,T,P,S) 
Gevraagd: Is L(G) =¢? 


Men kan eenvoudig aantonen dat een gevolg van stelling 4.9 is dat 
deze twee problemen allebei onoplosbaar zijn. MPSG is in principe gelijk 
aan het halting probleem. EPSG is onoplosbaar omdat men als volgt kan 
aantonen dat MPSGAEPSG. Gegeven G = (N,T,P,S) en een string 
xET* kunnen we een G' construeren die L(G)N{x} genereert door 
gebruik te maken van de stellingen 4.3(2) en 4.9. Nu geldt xE L(G) 
desd als L(G') +Ø. In oefening 4.5 behandelen we enkele andere on- 
oplosbare beslissingsproblemen die te maken hebben met PSG's. 


CONTEXT-GEVOELIGE GRAMMATICA'S 


PSG's werden voor het eerst ingevoerd door Noam Chomsky in zijn klas- 
sieke artikel uit 1956, (Chomsky, 1956). Eigenschappen werden bewezen 
in een tweede artikel, (Chomsky, 1959). Deze twee artikelen bereidden 
de weg voor voor een hele theorie over formele talen. De algemene 
PSG's die we eerder definieerden, worden meestal type 0 grammatica's 
genoemd. Dit is het meest algemene type en het genereert de meest 
algemene klasse van talen, namelijk de r.e. talen. In deze paragraaf en 


in de volgende twee behandelen we restricties die we op de grammatica 
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kunnen toepassen en laten we zien welke invloed deze restricties heb- 
ben op de eigenschappen van de gegenereerde talen. Op deze wijze 
leiden we een hiërarchie van talen af, die de Chomsky hiërarchie wordt 
genoemd. Deze hiërarchie wordt uitgebreid behandeld in het klassieke 
werk over formele talen Formal languages and their relation to automata 
(Hopcroft & Ullman, 1969). 

Leggen we aan elke produktie a«>pB van een PSG, G= (N,T,P,S) 
een restrictie op zo dat |al<|g| dan heet de grammatica een context- 
gevoelige grammatica (Context-sensitive Grammar of CSG). De taal die 
door deze grammatica wordt gegenereerd heet dan ook een context- 
gevoelige taal of een type 1 taal. Gevolg van de definitie is natuurlijk 
dat de lege string € niet in een context-gevoelige taal kan voorkomen 
omdat elke string die kan worden afgeleid uit het startsymbool S mini- 
maal lengte 1 moet hebben. Meestal laat men echter toch e toe in een 
context-gevoelige taal door de definitie van CSG's uit te breiden met de 
produktieregel S >e, onder de voorwaarde dat S niet voorkomt als een 
substring in enig rechterlid van een produktieregel. Wij zullen dit hier 
ook doen. Als nu L een CSL is die werd gegenereerd door de gramma- 
tica G= (N,T,P,S), terwijl e&L dan kunnen we gemakkelijk de CSG 


G: = (NU{S'},T,PU{S'>S.S'>E},S'), ENUT 


construeren die LU {e} genereert. 
Het volgende resultaat is van belang omdat eruit blijkt dat het ele- 
mentprobleem (MCSG) voor CSG's oplosbaar is. 


Stelling 4.10 


Als G = (N,T,P,S) een CSG is dan is L(G) een recursieve taal. 


Bewijs. Door inspectie van G kan men vaststellen of eE€L(G). 
Beschouw nu xET zodanig dat |x| =n. We hebben nu een algoritme 
nodig dat kan controleren of x€L(G). Zij pe = {ala E(N U TY 

la] <n en SS a door middel van een afleiding van hoogstens m stap- 


pen}. Dan is to 


= S en kunnen we r uit T i berekenen door 
gebruik te maken van En = pl u {a| voor een B ET” Bsa en 


k . 
lal<n}. Als Ssa en |al<n dan zit a in Ke voor de een of andere 
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m; als uit S niet a wordt afgeleid of als |a| >n dan zit a niet in T 
voor enige m. 
De TM die vaststelt of xEL(G) construeert Tii elf Tes ... met 


= |x|. Uit de definitie volgt dat E R Ook geldt dat als 


1 ROS : d RENE, Ta H 
T, Tizi dan is Tizi = Tio = ... . We construeren zo dus een ket 
8 n n n Me Ne n < n 


met k =#(NUT) en dus moet de ketting ooit een i bereiken met 


A AH Het algoritme dat controleert of xEL(G) kan dus stoppen 


i E 


zodra het dit stadium bereikt. Dan geldt xEL(G) desd als x€ Ere 


Helaas is de omkering van deze stelling niet waar. Dat wil zeggen 
er bestaan recursieve talen die niet context-gevoelig zijn. Het bewijs 
hiervan is niet moeilijk. In oefening 4.7 wordt de lezer gevraagd aan 
te tonen dat er een aftelbaar oneindige hoeveelheid frasestructuur gram- 
matica's bestaat met Ne {A, li 20} SE Ap en T= {0,1}. Verder kan 
ook bewezen worden dat de verzameling CSG's binnen deze verzameling 
grammatica's eveneens aftelbaar oneindig is en dus kan worden opgesomd 
als G, G, G, ‚……. « Eerder toonden we aan dat we de strings in 
{0,1} kunnen enumereren als x er Kp …… , Op grond hiervan kun- 
nen we de taal L = (a, Xi EL(G;)} definiëren. L is zeker recursief 
omdat men gegeven een «€ {0,1}* kan bepalen voor welke i geldt dat 
X =X. Vervolgens kan men Gi genereren en dan met behulp van stelling 
4.10 testen of X EL(G; ). L is echter geen context- -gevoelige taal. Als 
dit wel het nR was AN gold L=L(G,) voor zekere j. Beschouw nu Xj. 
Als xE dan geldt ie ) en dus volgt uit de definitie van L dat 
X eL. Als x.EL dan is a ELCG,) en dus geldt opnieuw wegens de 
definitie van L dat x,EL. In beide gevallen krijgen we een tegenspraak 


en we kunnen dus de volgende stelling formuleren. 


Stelling 4.11 


Er bestaan recursieve talen die niet context-gevoelig zijn. 
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Omdat in een CSG, G elke produktieregel a>B (met uit zondering 
van het speciale geval Se) voldoet aan |a| <|B|, is het duidelijk dat 
als var =y,BY, dat dan RASA <S BASA |. Tijdens de afleiding van 
een string xET heeft elke zinsvorm dus een lengte >1 en <|x|. 
Beschouw nu een nondeterministische TM zoals geconstrueerd werd in 
het bewijs van het eerste deel van stelling 4.9. Als G een CSG is dan 
zal de TM wegens de restrictie op de lengte van de zinsvorm die werd 
gebruikt om x af te leiden, iedere xE€L(G) accepteren en daarbij al- 
leen gebruik maken van de locaties -|x|-1,-|æ|,-ļæ|+1,..., |æ], [xl +1. 
De locaties -|x|-1 en |x|+1 bevatten steeds een speciaal symbool 
dat dient om het einde van de string aan te geven. Als het niet moge- 
lijk is een zinsvorm te plaatsen in de locaties 1,2,...,|x|, dan weten 
we dat deze zinsvorm niet kan worden gebruikt voor het afleiden van 
Xx. Zodra we proberen van locatie |x|+1 gebruik te maken om er een 
symbool uit een zinsvorm in op te slaan, weten we dat we deze afleiding 
kunnen opgeven. Het positieve deel van de tape kan worden schoon- 
gemaakt en we kunnen de simulatie opnieuw beginnen met het startsym- 
bool S in locatie 1. 

Een nondeterministische Turingmachine die voor alle inputs x alleen 
gebruik maakt van k, [ac | tk, locaties op de tape, waarbij k, en k, 
twee vaste gehele getallen zijn, heet een lineair begrensde automaat 
(LBA). We lieten zien dat elke context-gevoelige taal L wordt geaccep- 
teerd door een lineair begrensde automaat, want de TM die we beschre- 
ven gebruikt nooit meer dan 2|x|+2 locaties voor het accepteren van 
xE L. Het omgekeerde resultaat geldt ook: elke taal die wordt geaccep- 
teerd door een LBA is noodzakelijkerwijs context-gevoelig. Kuroda 
(1964) geeft een effectieve constructie waarmee dit wordt bewezen. 


Gevolg hiervan is dat we ook de volgende stelling kunnen bewijzen. 


Stelling 4.12 


Het leegheidsprobleem voor context-gevoelige grammatica's (Emptiness 


problem for Context-sensitive Grammars of ECSG) is onoplosbaar. 


Bewijs. We tonen aan dat PCPAECSG. Stel gs Gej Xose eX en 
y = Wree) zijn twee n-tupels van strings in T* die een instan- 
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tie I van PCP definiëren. We kunnen nu een LBA M construeren die, 
gegeven een inputstring z ET*, op nondeterministische wijze een rij 
gehele getallen i,,„i,,...,i, (SmS |z| en 1< i <n voor alle j) 
genereert. M gaat vervolgens na of z = ya Blin YY; hele Als dit 
het geval blijkt dan accepteert M z. Er geldt dus dat z door deze LBA 
wordt geaccepteerd dan en slechts dan als z een oplossing voor I voor- 
stelt. We weten verder dat er een CSG, G moet bestaan, zodanig dat 
L(G) de taal is die door M wordt geaccepteerd. Dus geldt dat L(G) # 
desd als IZ een oplossing heeft. Omdat er een effectieve constructie 
bestaat voor M en G is hiermee aangetoond dat PCPAECSG, hetgeen 


te bewijzen was. 


CONTEXTVRIJE GRAMMATICA'S 


Een contextvrije of type-2 grammatica (Context-free Grammar of CFG) 
is een frasestructuur grammatica G = (N,T,P,S) waarin iedere pro- 
duktie P van de vorm A>ß, AEN, BE(NUT)* is. Een taal die door 
zo'n grammatica wordt gegenereerd heet een contextvrije taal of een 

type-2 taal, (CFL). De volgende grammatica G, is een voorbeeld van 


een contextvrije grammatica: 


S > AB |aC 

A > aAlb| BB 
B > bSS |aBle 
C > ab 


Deze grammatica bevat de produktie B >< en is daarom dus niet con- 
textgevoelig. We kunnen echter een beperking aanbrengen ten aanzien 
van e-produkties. Als een grammatica is het geheel geen e-produkties 
bevat dan heet deze e-vrij. Als een CFG, G e-produkties bevat dan 

is het mogelijk een e-vrije CFG, G' te construeren zodanig dat 

L(G!) = L(G)\ {€}. De constructie is niet moeilijk: als G= (N,T,P,S) 
dan is G' = (N,T,P',S). P' wordt volgens de volgende regels uit P 
geconstrueerd. 

(1) Plaats alle -vrije produkties uit P in P'. 

(2) Bepaal alle niet-terminale grootheden AEN, waarbij A > çi 
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Dergelijke niet-terminale grootheden worden e-genererend genoemd. 
Voeg nu voor elke produktie pE€P waarin een of meer e-genererende 
niet-terminale grootheden als substrings in het rechterlid voorkomen, 
aan P' alle vrije produkties toe die uit p kunnen worden geconstrueerd 
door een of meer van deze e-genererende niet-terminale grootheden weg 
te laten. 

In ons voorbeeld zijn S, A en B e-genererend, maar C is dat niet. 
Als we de bovenstaande regels toepassen dan krijgen we de volgende 


contextvrije grammatica 


S >ABl|aC|A|B 

A >aAlb|BB|alB 
B >bSS|ab|b| bS |a 
C > ab 


Deze CFG genereert L(G) Me }. 

Bovenstaande constructie brengt altijd uit een CFG, G = (N,T,P,S) 
een e-vrije CFG, G' = (N,T,P',S) voort met L(G)\{e}. Het bewijs is 
niet moeilijk en berust op het feit dat voor alle AEN en xET* 
geldt dat A > x desd als Az x. Als eE€L(G) dan is G' niet equi- 
valent met G, maar we kunnen wel e opnieuw invoeren en verder kun- 
nen we ervoor zorgen, door een nieuwe niet-terminale grootheid S' in 
te voeren, dat het startsymbool nooit voorkomt als een substring in 
een rechterlid van een produktieregel. Definieer daartoe 
G'Y = (NU{S'},T,P",S') waarbij P" = PU {St >E,S'>S}. In ons voor- 


x 

beeld geldt dat S > AB = BBB > € en dus s€EL(G ). Hiermee 
G4 By G4 je 

hebben we G, geconstrueerd met de produktieregels 


S' > ejs 

A > AB laC|A |B 

> aA |b|BB|alB 
> bSS|aB|b|bS |a 
> ab 


a DUD 


met S' als nieuw startsymbool. 

Voor elke willekeurige CFG, G bestaat er een algoritme om vast te 
stellen of eE€L(G), (zie oefening 4.13). Als e&L(G) dan is de hier- 
boven geconstrueerde G' equivalent met G en als eEL(G) dan is G" 
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equivalent met G. In beide gevallen is zo geconstrueerde grammatica in 
overeenstemming met onze definitie van een context-gevoelige grammati- 


ca. Hiermee hebben we de volgende stelling bewezen. 


Stelling 4.13 


Elke context-vrije taal is een context-gevoelige taal. 


De omgekeerde bewering is niet waar. Bijvoorbeeld {apc In> 1} 


is context-gevoelig, zoals we al eerder aantoonden, maar is niet context- 
vrij. Het bewijs hiervan wordt gegeven in onze Inleiding in de Theorie van 
de Formele Talen (Rayward-Smith, 1983). Daarin tonen we ook aan dat de 
acceptoren voor CFL's non-deterministische stack-automaten (Nondeter- 
ministic Pushdown Automata of NDPA's) zijn. Dit zijn beperkte non- 
deterministische Turingmachines met eenzijdig onbegrensde tapes. De 
input wordt geschreven op de eerste tape en de kop van deze tape kan 
alleen lezen en kan niet naar links bewegen. De machine mag niet in 

een eindtoestand geraken voordat de uiterst linkse lege positie op deze 
tape is gelezen. De tweede tape wordt als stack gebruikt, dat wil zeg- 
gen als positie k de uiterst linkse lege positie op de tape is dan zijn 
ook alle posities >k leeg. De kop kan locatie k-1 lezen, de inhoud door 
het lege symbool vervangen en naar links bewegen, (dit is de pop- 
operatie). De kop kan ook locatie k lezen en daar een ander symbool 
schrijven, (dit is de push-operatie). Elke taal die door een NDPA 
geaccepteerd wordt is noodzakelijk context-vrij en omgekeerd bestaat 

er voor elke context-vrije taal een NDPA die deze taal accepteert. 

Maken we de machine deterministisch dan is dit niet langer meer het 
geval: er bestaan context-vrije talen die door geen enkele determinis- 
tische stack-automaat worden geaccepteerd. 

Omdat we uit elke CFG een CSG kunnen construeren en omdat het 
elementprobleem voor CSG's oplosbaar is, is ook het elementprobleem 
voor CFG's oplosbaar. Een efficiënte oplossing voor dit probleem is voor 
de informatica van groot belang. De syntaxis (de grammaticale struc- 
tuur) van programmeertalen wordt meestal beschreven in Backus-Naur 


Form (BNF) of in syntaxisdiagrammen. Beide notaties zijn equivalent 
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met een context-vrije grammatica. Om te controleren of een gegeven 
programma dat is geschreven in de programmeertaal ook geconstrueerd 
is overeenkomstig de bijbehorende syntaxis moet het elementprobleem 
worden opgelost. In de praktijk worden meestal restricties aan de gram- 
matica toegevoegd om een efficiënte oplossing van dit probleem mogelijk 
te maken. 

Zij G = (N,T,P,S) een willekeurige CFG en veronderstel dat 
L(G) ##. Op grond van het voorgaande mogen we veronderstellen dat 
G context-gevoelig is. Nu bestaat er bij elke string x€ T* die door 
G wordt gegenereerd een afleidingsboom. We definiëren de diepte van 
een dergelijke boom als de lengte van het langste pad vanuit de wortel 


naar een blad. Voor G. met de produktieregels 


S > AB 
A > aAla 
B > bB| b 


is in figuur 4.2 voor a°b? EL(G.) de afleidingsboom met diepte vier 


weergegeven. 


Figuur 4.2 


Als een afleidingsboom die werd geconstrueerd door middel van een 
CFG, G = (N,T,P,S) diepte n heeft dan moet er een pad met knoop- 
punten AA ich ‚Aa bestaan met S= A, zp A Er An EN en ae€T. 
Als daarbij n>#(N) dan moeten twee of meer knooppunten op dit pad 
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gelijk zijn, bijvoorbeeld Ann, met i<j. We kunnen dan een nieuwe 
afleidingsboom construeren door de subboom met wortel A; te vervangen 
door die met wortel A.. Door herhaald toepassen van deze redenering 
kunnen we concluderen dat er een afleidingsboom voor een of andere 
XEL(G) met diepte S#(N) moet bestaan als er een afleidingsboom 
voor x'E L(G) met diepte > #(N) bestaat. Hieruit volgt 


Stelling 4.14 


Het leegheidsprobleem voor contextvrije grammatica's is oplosbaar. Dat 
wil zeggen bij elke CFG, G = (N,T,P,S) bestaat er een algoritme dat 
vaststelt of L(G) = #. 


Bewijs: Veronderstel dat de CFG, G context-gevoelig is. Het algoritme 
test dan eerst of Se een produktieregel in P is. Als dat het geval 
is dan geldt L(G) +Ø omdat immers eE€L(G). Als Se geen pro- 
duktieregel in P is dan construeren we alle mogelijke afleidingsbomen 
maar alleen tot diepte #(N). Daarvan bestaat een eindige hoeveelheid 
en geen van deze afleidingsbomen komt overeen met een afleiding van 


een terminale string dan en slechts dan als L(G) = Ø. 


Een produktie Aa in een CFG, G = (N,T,P,S) heet relevant 
dan en slechts dan als er een afleiding voor een xE€L(G) bestaat die 
van deze produktie gebruik maakt, dat wil zeggen dan en slechts dan 
p aa Rf x voor een xEL(G). Een niet-relevante pro- 


Mn 
duktie in G heet irrelevant en die willen we graag verwijderen uit G. 


als S > a Aaa 


Nu kunnen we voor elke AEN een nieuwe grammatica G Pin 
(N,T,P,A) construeren. Als L(G4) = Ø dan is het onmogelijk een 
terminale string uit A te genereren door van produktieregels uit P 
gebruik te maken. We kunnen dus uit geen enkele zinsvorm uit G die 
A bevat een terminale string afleiden. L(G) blijft dus ongewijzigd als 
we uit G alle produktieregels verwijderen met A in het linkerlid of met 
A in het rechterlid. Wel kunnen we dan nog irrelevante produkties 
overblijven in de grammatica omdat er AEN kunnen bestaan die ter- 


minale strings kunnen genereren maar die nooit in een zinsvorm kunnen 
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voorkomen. We kunnen een overeenkomstige redenering gebruiken als 
in het bewijs van stelling 4.14 om aan te tonen dat als A in een zins- 
vorm kan voorkomen er een zinsvorm moet bestaan die A bevat en die 
kan worden afgeleid met behulp van een partiële afleidingsboom met 
diepte < #(N). (De boom heet partieel omdat de eindpunten geen termi- 
nalen zijn.) Door al dit soort bomen te genereren kunnen we controle- 
ren of er soms een AEN is die niet in een zinsvorm kan voorkomen. 
Als dat zo is dan kan elke produktie waarin A voorkomt als irrelevant 
worden verwijderd. 

Hoewel we irrelevante produkties uit een contextvrije grammatica 
kunnen verwijderen en het elementprobleem en het leegheidsprobleem 
kunnen oplossen, bestaan er toch een aantal niet oplosbare problemen 


ten aanzien van deze grammatica's. Bijvoorbeeld 


Het lege doorsnede probleem voor contextvrije grammatica's. (EICFG of 


Empty Intersection Problem for Context-Free Grammars) 


Gegeven: Twee CFG's, G, en G. 
Gevraagd: Is L(G )NL(G,) =Ø? 
Stelling 4.15 


Het lege doorsnede probleem voor CFG's is onoplosbaar. 


Bewijs: We zullen aantonen PCPAEICFG. Als een instantie I van 

PCP gegeven is door xX = (Xs Xose eX) en y= YY gere) twee 
n-tupels van strings in T* dan construeren we als volgt een bijbehorend 
voorkomen van EICFG. Zij {Sj Sgets Sh] een rij van n verschillende 
symbolen &T en definieer T' als T' = TU ÍS „Ss. ShI Veronder- 
stel verder dat e = Ús, BT',P Sy) en G3 = ({ Syr T PS) 
twee CFG's zijn zodanig dat E alle produkties Sa XSS] en 

Sa? XS i = 1,2,...,n bevat, terwijl Py alle produkties S,YSSi 
en SN i = 1,2,...,n bevat. Nu is LIGE = [ej ige e XimSim 
Sijs, Im > 1} en evenzo is L(G) = (Yi Yiz YimSim "Sisi |M 2 1}. 
Dus geldt L(G) NAS) ff desd als I een oplossing heeft. Omdat 
vanuit I G x en G, effectief te construeren zijn hebben we bewezen dat 


EICFG onoplosbaar is. 
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Er bestaan nog andere onoplosbare problemen ten aanzien van 


CFG's. Onder andere de volgende. 


Totaliteitsprobleem voor CFG's (TCFG) 
Gegeven: Een CFG, G = (N;T,P;,S). 
Gevraagd: Is L(G) = T*? 


Equivalentieprobleem voor CFG's (ECFG) 
Gegeven: Twee CFG's G, en G,» 
Gevraagd: Is L(G,) = L(G)? 


Eindige doorsnede probleem voor CFG's (FICFG) 
Gegeven: Twee CFG's G, en G,. 
Gevraagd: Is L(G.) NL(G,) eindig? 


De bewijzen van deze en andere resultaten staan vermeld in Bar-Hillel, 
Perles & Shamir (1961) en in Ginsburg & Rose (1963). 


REGULIERE GRAMMATICA’S 


Een frasestructuur grammatica (PSG) G= (N,T,P,S) heet een regu- 

liere grammatica als: 

(1) als er een s-produktie in G bestaat dan is deze van de vorm S>€ 
en dan komt S niet voor als een substring in het rechterlid van 
enig andere produktieregel in P; 


(2) alle andere produkties zijn ofwel van de vorm 
Aa met AEN en a€T 
ofwel van de vorm 
AaB met A‚BEN, a€T . 


Een taal heet een reguliere taal (of ook wel een reguliere verzameling) 
dan en slechts dan als de taal gegenereerd wordt door een of andere 
reguliere grammatica. Duidelijk is dat L een reguliere taal is desd als 


L\{e} gegenereerd wordt door een e-vrije reguliere grammatica. Ook 
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is elke reguliere grammatica noodzakelijkerwijs context-vrij en dus is 
elke reguliere taal een context-vrije taal. 

Een eenvoudig voorbeeld van een reguliere grammatica is de gramma- 
tica Ge met als produktieregels 


S > dAlbB 
A > aAla 
B > bB| b 


Er geldt L(G,) = {a"|n> 1}u{b|n> 1}. 

Elke reguliere taal wordt geaccepteerd door een niet-deterministische 
Turingmachine met een eenzijdig onbegrensde tape waarlangs een lees- 
kop alleen naar rechts beweegt. Een dergelijke machine heet een non- 
deterministische eindige toestandsautomaat, (Nondeterministic Finite 
State Automaton of NFSA). 

In Rayward-Smith (1983) wordt de volgende stelling bewezen. 


Stelling 4.16 


De volgende definities zijn equivalent: 


(i) L ST* wordt gegenereerd door een reguliere grammatica; 

(ii) LeT* wordt geaccepteerd door een nondeterministische eindige 
automaat (NFSA); 

(iii) LST* wordt geaccepteerd door een deterministische eindige 
automaal (DFSA). 


Figuur 4.3 
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(a,a,R) 


(b,b,R) 


Figuur 4.4 


De NFSA weergegeven in figuur 4.3 is een voorbeeld van een automaat 
die L(G; ) accepteert. Merk op dat in dit voorbeeld alle verbindingen 
gelabeld zijn met een tripel van de vorm (a,a,R) voor een of andere 
a€ETU {a}. Dit is altijd het geval bij een eindige automaat omdat de kop 
alleen kan lezen en alleen naar rechts beweegt. 

In figuur 4.4 is een DFSA weergegeven die equivalent is met de 
NFSA van figuur 4.3 en die ook L(G; ) accepteert. Omdat reguliere 
grammatica's per definitie altijd context-vrij zijn is het elementprobleem, 
het leegheidsprobleem en zijn de eindigheidsproblemen voor reguliere 
grammatica's allen oplosbaar. Door middel van de constructies van 
geschikte eindige automaten kan men ook aantonen dat het totaliteits- 
probleem, het equivalentieprobleem en de problemen van de lege door- 
snede en van de eindige doorsnede eveneens oplosbaar zijn. De geïnte- 
resseerde lezer wordt verwezen naar Hoperoft & Ullman (1969) voor de 
bewijzen. 

De reguliere grammatica's maken de Chomsky hiërarchie van gramma- 
tica's volledig en staan daarom ook bekend als type 3 grammatica's. In 
figuur 4.5 geven we de totale hiërarchie met bijbehorende acceptoren 


en al dan niet oplosbare problemen weer. 
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GRAMMATICA frase structuur context=-gevoelig context=vrij regulier 
TAAL recursief aftelbaar context=-gevoelig context=vrij 
ACCEPTOR Turingmachine Lineair begrensde nondeterministische eindige 
automaat stack automaat automaat 
ELEMENT Onoplosbaar Onoplosbaar Oplosbaar Oplosbaar 
LEEGHEID Onoplosbaar Onoplosbaar Oplosbaar Oplosbaar 
PROBLEEM- EINDIGHEID Onoplosbaar Onoplosbaar Oplosbaar Oplosbaar 
OPLOS- TOTALITEIT Onoplosbaar Onoplosbaar Onoplosbaar Oplosbaar 
BAARHEID EQUIVALENTIE Onoplosbaar Onoplosbaar Onoplosbaar Oplosbaar 
LEGE DOORSNEDE Onoplosbaar Onoplosbaar Onoplosbaar Oplosbaar 
EINDIGE DOORSNEDE Onoplosbaar Onoplosbaar OnOplosbaar Oplosbaar 
Figuur 4.5 De Chomsky hiërarchie 
OEFENINGEN 
1. Toon aan dat voor elke eindige verzameling T de verzameling van 


TM's van de vorm (Q,2,T,P,q,F) met Qeta,li20} en 
IcTU {s;|i>0}, aftelbaar oneindig is. Laat zien dat elke recursief 
aftelbare taal herkend wordt door tenminste één van deze Turing- 


machines. 


L = {context(x,rev(x))|x €{0,1}*} een recursieve 


verzameling is door een (deterministische) TM te construeren die 


Toon aan dat 


XE berekent. 


Bewijs stelling 4.7, dat wil zeggen dat L geaccepteerd wordt door 


een (deterministische) TM desd als L recursief aftelbaar is. 


Toon aan dat als L wordt geaccepteerd door een deterministische 
eenzijdig onbegrensde TM dat dan L kan worden geaccepteerd door 
een dergelijke machine die nooit een leeg symbool op zijn tape 
schrijft. Hint: voeg aan het hulpalfabet een 'pseudo-leeg' symbool 


toe. 


Toon aan dat de volgende problemen onoplosbaar zijn 


Eindigheidsprobleem voor frasestructuur grammatica's (PSG's) 
Een PSG, G = (N,T,P,S). 


Is L(G) eindig? 


Gegeven: 


Gevraagd: 
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10. 


11. 


12. 


13. 
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Totaliteitsprobleem voor PSG's 
Gegeven: Een PSG, G = (N,T,P, 85). 
Gevraagd: Is L(G) = T*? 


Equivalentieprobleem voor PSG's 

. 1 ed 8 eend 
Gegeven: PSG's G, (NTP S3) en G, (NoT, P,,S,) 
Gevraagd: Is L(G.) = L(G,)? 


Toon aan dat het totaliteitsprobleem voor CSG's onoplosbaar is. 


Laat zien dat er aftelbaar oneindig veel frasestructuur grammatica's 
bestaan met Ne {Ali 08: Ap en T = {0,1}. Bewijs dat ook 
het aantal van deze grammatica's dat context-gevoelig is aftelbaar 


oneindig is. 


Bewijs dat er bij elke recursief enumereerbare taal een procedure 
bestaat voor het aftellen van de strings uit die taal, (dit is de 
reden dat de taal recursief enumereerbaar wordt genoemd). [Hint: 
gebruik stelling 4.7. ] 


Laat zien dat het stellen van k f 1 in de definitie van lineair 
begrensde automaten geen invloed heeft op het vermogen van derge- 
lijke machines om alle context-gevoelige talen te herkennen. Wat 


voor extra randvoorwaarden zou men aan k, kunnen opleggen? 


Toon aan dat het Halting probleem voor lineair begrensde automaten 
oplosbaar is. 


Toon aan dat het Eindigheidsprobleem voor context-vrije grammati- 


ca's oplosbaar is. 


Bewijs formeel dat de constructie van een e-vrije CFG, G' uit een 
CFG, G, zoals in dit hoofdstuk beschreven, inderdaad voldoet aan 
LEGY = LIG) fikh 


Bewijs dat het probleem oplosbaar is om voor een gegeven CFG, 
G = (N,T,P,S) vast te stellen of een willekeurige AEN al dan 
niet e-genererend is. Leid hieruit af dat er een algoritme bestaat 
dat vaststelt of al dan niet eE€L(G). 


14. 


15. 


16. 
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Toon aan dat als LL, context-vrije talen zijn, dat dan ook 

LU L, en LL, dit zijn. Construeer een voorbeeld om te laten 
zien dat L, N L, niet noodzakelijk context-vrij is. [Hint: maak 
gebruik van het feit dat {apc In>1} niet context-vrij is. ] 
Laat zien dat {a"b"|n>1} geen reguliere taal is, maar wel con- 


text-vrij is. 


Construeer een DFSA die L = {a,b}{aa,ba}{b}* accepteert. Con- 
strueer vervolgens hieruit, of op een andere wijze, een DFSA die 
L° = {a,b}*\L accepteert. 


Recursieve Functies 


Though deep yet clear, though gentle yet not dull; 


Strong without rage, without o'erflowing full. 


Diep maar helder, zachtmoedig maar met pit; 


Sterk zonder woede, een beker waar niet te veel in zit. 


Sir John Denham 
Copper's Hill 


HET DEFINIEREN VAN FUNCTIES 


In het algemeen berekent een TM, M= (Q,2,T,P‚q ,F) een partiële 
functie fy: T*>x*, In het vorige hoofdstuk bestudeerden we eigen- 
schappen van de deelverzameling van T* waarop een dergelijke functie 
is gedefinieerd. In dit hoofdstuk zullen we de functies zelf bestuderen. 
We zullen de klasse van functies beschrijven die Turing-berekenbaar 
zijn (TM-berekenbaar ) en we zullen de eigenschappen van deze functies 
onder zoeken , 

Omdat men in de informatica gewend is met binaire codes te werken, 
zullen we veronderstellen dat zowel de argumenten van onze functies 
als de resulterende waarden in binaire vorm gecodeerd zijn. Als 
B = {0,1}* de verzameling van alle binaire strings voorstelt dan willen 
we die n-aire functies B''>B, (n> 1) onderzoeken die Turing-bereken- 
baar zijn. Uit hoofdstuk 2 weten we al dat dit niet alle functies op B 
betreft, dat wil zeggen: er bestaan functies B”>B die niet Turing- 
berekenbaar zijn. Er bestaan zelfs niet aftelbaar oneindig veel functies 
op B die niet berekenbaar zijn (oefening 5.1). 

We beginnen onze behandeling van berekenbare functies met het 
onderzoeken van manieren waarop we nieuwe berekenbare functies kun- 
nen construeren uit functies waarvan we al weten dat zij berekenbaar 


zijn. 
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Beschouw allereerst eens de m-aire functie h:B™>B en de m 
n-aire functies JI: BSB. Hieruit kunnen we een nieuwe 
functie f construeren, de compositie van h, JI Im CN dit is 
eveneens een n-aire functie B''>B gedefinieerd door 


FX spe, ) = ACCEL DET g X, TET OEE 


n 
EE 


Als voor enig n-tupel (x, Hsen: Xa) een waarde van ge, TORRET 
Xa?) ongedefinieerd is (1S<i<m), of als h ongedefinieerd is op de ar- 
gumenten 

g, CX] Xa Py XI (Xs Xs vite A) Eed Im Re gn Xa) 
dan is oof f voor dat n-tupel ongedefinieerd. 
Stelling 5.1 
Als h:B”>B en JI: A >B TM-berekenbare functies zijn 


dan is de compositie van h, CRL OEREEET: Pm dat ook. 


Bewijs. Veronderstel dat de TM, M de functie h berekent en dat de 
i 2 

TM's M, „M, , TP Mm’ CPET PERETTI: berekenen. Zonder verlies van 

algemeenheid mogen we veronderstellen dat de machines M, :M,, REE | 


als input een n-tupel van elementen van B accepteren met gebruik ERA 
dezelfde codering e( (X, , X pers). We construeren nu een TM, M! 
met m+1 tapes die de compositie van. h‚g,.9, Im berekent. M' 
accepteert als input de codering e((x,,x, Eb Xn) ) en kopieert die 
naar de tapes 2,3,...,m+1. M' simuleert vervolgens de werking van 
machine Mi; op tape i, 2<i<m+1. Als al deze machines stoppen 
dan worden vervolgens hun outputs gekopieerd op tape 1 en gecodeerd 
in een geschikte vorm voor machine M. Nu simuleert M' de werking 


van M. 


In figùur 2.4 lieten we zien dat cons0:B>B TM-berekenbaar is. 
Evenzo kan men aantonen dat consl:B>B TM-berekenbaar is. Hierbij 


is 
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consl(x) = 1x. 
Volgens stelling 5.1 mogen we stellen dat functies zoals 


cons00(x) = cons0(cons0(x)) 


cons0l(x) = cons0(consl(x)) 


eveneens TM-berekenbaar zijn. 


De functie nil:B >B, met 
nill) =. € voor alie EB: 


is zeker TM-berekenbaar. Vervolgens kunnen de functies nul en een 


worden gedefinieerd door van compositie gebruik te maken: 


nul(x) = consQ(nillx)) 


een(x) = consl(nil(x)) 


en deze functies moeten dus ook TM-berekenbaar zijn. 

Als we compositie gebruiken om aan te tonen dat een functie TM- 
berekenbaar is dan is het niet per se nodig dat elke J; in de construc- 
tie n-air is. We spreken af dat we functies J, Iz» +*+ Im Mogen 
gebruiken die k-air zijn, (1<k <n). Dit wil zeggen dat niet noodzake- 


lijk alle argumenten X,,X n... X voorkomen in de argumentenlijsten 


Lou 
van alle functies g u Jaee Im We zouden bijvoorbeeld kunnen hebben 
aangetoond dat de functies concat:B?> B en omgek:B>B beiden TM- 


berekenbaar zijn. We zouden dan kunnen concluderen dat de functie 
f, œy) = concat(omgek(x),omgek(y)) 


TM-berekenbaar is omdat f i uit concat en omgek via compositie is gecon- 
strueerd. Dit is echter niet correct omdat volgens de definitie van com- 
positie de binnenste functies in het rechterlid van een dergelijke verge- 
lijking alle argumenten moeten bevatten. 

Voor een correcte behandeling moeten we eerst vaststellen dat de 


binaire projectiefuncties 6, en 65, gedefinieerd door 


630) 
622, y) = 


hen 
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beiden TM-berekenbaar zijn. (De constructie van een TM om deze func- 
ties te berekenen ligt voor de hand.) Dus als omgek TM-berekenbaar 
is dan geldt dat volgens stelling 5.1 ook voor 


omgekl(x,y) = omgek (65 (x,y)) = omgek(x) 


en omgek2(x,y) = omgek (62 (x,y) = omgek (y ) 
Door opnieuw stelling 5.1 toe te passen leiden we af dat 


f (x,y) = concat(omgekl(x,y),omgek2(x,y)) 
= concat(omgek(x),omgek(y)) 


ook TM-berekenbaar is. 
Algemener kunnen we gemakkelijk aantonen dat de projectiefuncties 
ô (B> B(1<i<n) gedefinieerd door 


Ei i 
Sn rs e ee) = Xi 


TM-berekenbaar zijn. Door deze functies te gebruiken bij de compositie 
met bekende functies kunnen we ervoor zorgen dat niet gebruikte argu- 
menten komen te vervallen. We kunnen projectiefuncties ook gebruiken 
om de volgorde van de argumenten in een n-tupel te veranderen. Bij- 


voorbeeld: 
concat(x,y) = concat(5, (x,y) „65 (x,y)) = concat(y,x) 


We zullen in het vervolg niet steeds projecties in onze definities op- 
nemen, louter om ervoor te zorgen dat de vorm van de definities met 
de precieze gewenste vorm overeenkomt. We spreken af dat in composi- 


ties van de vorm 


h(g (X.X, Ea X a ga CX X> at TaD hes In TORERE Xn )) 


niet elk argument x,,X_,.. Ea in iedere functie J; gebruikt behoeft 


RR 
te worden en verder dat de volgorde van de argumenten er niet toe 
doet. We staan dus definities toe, zoals 


f (x,y) = concat(concat(y, x), omgek(x)). 


Een andere manier om nieuwe functies uit oude te construeren is het 
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gebruiken van recursie. Al in hoofdstuk 1 zagen we hoe krachtig deze 
methode kan zijn. We zullen nu het gebruik van recursie bij het defini- 
eren van functies op strings formaliseren. Laten we eerst eens een 
definitie met behulp van recursie bekijken van een unaire functie 
f:B>B. Als we veronderstellen dat h‚h‚:B'>B al gedefinieerd zijn 


dan neemt de definitie van f in termen van h, en h, de volgende vorm 


aan 
f(e) = w(ofwel voor een WEB ofwel w is ongedefinieerd) 
f(0x) = h, (x,f(x)) 
f(ix) = h(x, f(x)) 


Het is echter mogelijk dat een of meer argumenten van h ‚en h, ont- 
breken of niet in volgorde staan. 
Een recursieve definitie van de identiteitsfunctie iden:B>B in 


termen van cons0 en consl is: 


iden(e) =e 
iden(0x) = cons0(x) 


iden(1x) = consl(x) 


Een tweede voorbeeld: de functie len:B>B berekent in unaire 
vorm de lengte van een string €B. Deze functie wordt als volgt recur- 


sief gedefinieerd. 


len(e) 
len(0x) = cons0(len(x)) 


€ 


len(1x) = consl(len(x)) 


We gaan de hierboven gebruikte methode ter definitie van functies nu 
uitbreiden naar recursieve definities van n-aire functies voor n>2. 
Veronderstel dat g een al gedefinieerde (n-1)-aire functie pap G 
en dat h, en h, al gedefinieerde (n +1)-aire functies R zijn. 


We kunnen nu de functie f als volgt in termen van g, h, en h, defi- 


niëren. 
len sere) OF E) 
fCOo, „as. s0) = h, X Xose r eres ee 090) 
fla, esse) = he Aser se FCR Ls es 000) 
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We staan weer toe dat g een ariteit <n-1 heeft en dat h, en h 2 aritei- 
ten <n+1 hebben. Dit betekent dat het mogelijk is dat één of meer van 
de argumenten van g, h, of h, mogen worden weggelaten en dat zij 
ook niet in volgorde hoeven te staan. Merk op dat de juistheid van een 
recursieve definitie van f altijd kan worden gecontroleerd met behulp 
van volledige inductie naar de lengte van het eerste argument van f. 
We kunnen nu bijvoorbeeld recursie gebruiken om de functie concat te 
definiëren in termen van iden, cons0 en consl. 


concat(e,‚y) = iden(y) 
concat(0x, y) = consO(concat(x,y)) 


concat( 1x, y) = consi(concat(x,y)) 


We gebruiken inductie naar de lengte van x om te bewijzen dat 
concat(x,y) = xy voor alle x,y EB. Als x=e dan is concat(e,y) = 
iden(y) = y. Veronderstel dat concat(x,y) = xy voor alle strings x 
met lengte <n. Als we nu een string x met lengte (n+1) bekijken dan 
is «x=0z of x=1 , waarbij z = staart (2) een string ter lengte n 
is. Als x=0z dan is concat(x,y) = consQ(concat(z,y)) = cons0(zy) 
wegens de inductieveronderstelling en cons0(zy) = 0zy = yx. In dit 
geval is dus concat(x,y) = xy. Het geval waarin x= 1z kan op over- 
eenkomstige wijze worden behandeld en dus mogen we concluderen dat 
concat(x,y) = xy ook geldt voor een string x ter lengte (n +1). Hier- 
mee is de eigenschap voor alle x,y €B met inductie bewezen. 

Bij de hierna volgende voorbeelden van recursieve definities zullen 
we het inductiebewijs niet meer vermelden. We gaan ervan uit dat de 
lezer dit zelf kan formuleren, 

Om de functie omgek recursief te definiëren moeten we eerst de 


functies append0:B>B en appendl:B>B definiëren: 
appendû(x) = concat(x,nul(x)) 
appendl(x) = concat(x,een(x)) 

Dus 


omgek(e) = e 


omgek(0x) = append0(omgek(x)) 


omgek( 1x) appendl(omgek(x)) 
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Een ander voorbeeld is de complement functie die van een string 
xE€B alle nullen in enen verandert en omgekeerd. Dus 
complement(0010) = 1101. Een recursieve definitie luidt 


€ 


complement(e) 
complement(0x) = consl(complement(x)) 


complement(1lx) = cons0(complement(x)) 


De volgende stelling geeft het belang aan van recursieve definities. 


Stelling 5.2 


Als f recursief wordt gedefinieerd in termen van Turing-berekenbare 


functies dan is ook f Turing-berekenbaar. 


Bewijs. We geven een schets van het bewijs voor een unaire functie 
maar een uitbreiding naar het geval waarin f n-air is, (n> 2) is vrij 
eenvoudig. 

We gaan ervan uit dat f gedefinieerd is in termen van twee Turing- 


berekenbare functies h ‚en h i De definitie luidt 


f(e) = w(w ongedefinieerd of in B) 
f(0x) = h (x, f(x)) 
fix) = h (x, f(x)) 


De een-tape Turingmachines die h, en h, berekenen, zullen we M, en 
M „ noemen. We veronderstellen niet dat bij de definitie van h, en h, 
noodzakelijk beide argumenten x en f(x) zijn gebruikt. 

De TM, M die f berekent heeft drie tapes. De eerste tape is een 
input /output-tape, met de tweede simuleren we een stack en de derde 
gebruiken we als kladblok. Veronderstel dat we de string zE€B als 
input gebruiken voor M. Als z =e en als wEB dan maakt de ma- 
chine tape 1 schoon en schrijft w op locaties 1,2,..., |w | van die 
tape. Als z=€ maar wB dan geraakt de machine in een eindeloze 
lus. Als z#e dan geldt ofwel z =0x ofwel z =1x voor een of andere 
x EB. Als z=0x en h, gebruikt f(x) als argument dan wordt de 
string z gevolgd door een scheidingsteken / geschreven in de meest 


linkse niet-lege locaties >0 van tape 2. Als h, echter f(x) niet als 
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argument gebruikt dan kan de waarde van f(z) direet met behulp van 
de machine M, uit x op tape 3 worden berekend. Op overeenkomstige 
wijze schrijven we z/ op tape 2 als z=1x en als h, f(x) als argument 
gebruikt en berekenen we anders f(x) met behulp van M, op tape 3. 

In de gevallen waarin we z/ naar tape 2 schrijven is de volgende stap 
het vervangen van z op tape 1 door x. Als x#e dan herhalen we het 
proces. 

Uiteindelijk komen we in een van de volgende situaties. 

Geval 1. e staat op tape 1 en op tape 2 hebben we z/staart(z)/.../ 
Raar hay geschreven. We beginnen nu met de tweede fase van 
de berekening. Als wEB dan coderen we het paar (e‚w) op tape 3. 
We lezen vervolgens het symbool rechts van het twee /-symbool van 
rechts op tape 2 om te controleren of staart |2 iez) een 0 als eerste 
symbool heeft. Als dit het geval is dan gebruiken we M, om 
derd z|-1 tez)) op tape 3 te berekenen; indien niet An gebruiken 
we M, We vervangen vervolgens fstaart F1! (z)) door een codering 


van he paar taart? z|-1 iE), f(staart |? tcz))) en we verwijderen de 


string staart? z|-1 tez)/ van tape 2. We herhalen nu het proces ter 
|z |-2 


berekening van f(staart (z )), f(staart 71" (z)), enzovoort. Als 
we niet in een oneindige lus terecht komen tijdens de simulaties van M, 
en M, dan bereiken we uiteindelijk een situatie waarin f(z) op tape 3 
staat en waarin tape 2 de string z/ bevat. We kopiëren nu f(z) naar 
tape 1 en we stoppen. Als echter w niet gedefinieerd is of als er een 
eindeloze lus optreedt in de simulaties van M, of M, dan is f(z) niet 
gedefinieerd en wordt er geen resultaat berekend. 

Geval 2. Als tape 2 leeg is en f(z) is gedefinieerd dan moet de 
waarde van f(z) op tape 3 staan en dan kan deze eenvoudig naar tape 
1 worden gekopieerd. Als tape 2 niet leeg is dan staat voor een of 
andere |z|>i>1 de string ws stadt l Aiii op tape 1, 
zIstaart(z)/ … Istaart 2 ttz), op tape 2 en f(y) op tape 3. We 
gebruiken nu de tweede fase van het berekeningsproces zoals onder 
geval 1 werd beschreven. We coderen (y‚f(y)) naar tape 3 en bere- 
kenen daar f(staart 21712). We gaan nu verder op dezelfde manier 
als eerder beschreven en berekenen Matairi z| Plej, „+o eJ (#tüari(ž)) 
en tenslotte f(z). Als f(z) gedefinieerd is dan treedt er geen eindeloze 
lus op en kan de waarde naar tape 1 worden gekopieerd en M kan stop- 


pen. 
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PRIMITIEF RECURSIEVE FUNCTIES EN PREDICATEN 


Primitief recursieve functies op B zijn totale functies Bai (nÈ 1) 


die worden geconstrueerd volgens de volgende regels. 


(1) Basisfuncties. Primitief recursieve functies zijn: 


(a) nil:B>B gedefinieerd als 
nil(x) = € voor alle xE€B; 
(b) cons0 en consl:B>B, gedefinieerd als 


cons0(x) = Ox 
en consl(x) = ix voor alle x€B; 


(e) de selectorfuncties 6 (1Si<n), waarbij 6, :B'>B is gedefi- 
nieerd als 

i 

8n CXX 


seeen) = X.. 


2 l 


(2) Uit bekende primitief recursieve functies kunnen we nieuwe func- 
ties construeren door middel van 
(a) compositie, 
(b) primitieve recursie, hierbij gebruiken we recursieve definities 
zoals we hiervoor behandelden, maar we laten geen partiële functies 
toe. Hiertoe eisen we dat een recursieve definitie van een n-aire 
functie de volgende vorm heeft: 


ofwel (als n= 1) 


flehn w 
f(Ox) = h (x,f(x)) 
flx) = h (x, f(x)) 


met wEB en h,» h, primitief recursief, 


ofwel (als n> 1) 


FEX ve) FJ | 
FOX „+, =h (x, X 
fla, „a, jm toe 


X Df TOTEE Xa)? 


pees), Ns) 
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met g, h, en h, primitief recursief. In beide bovenstaande gevallen 
mogen argumenten van g, h, of h, worden weggelaten en behoeven 
de argumenten niet in volgorde te staan. 


(3) Geen andere functies dan de basisfuncties en de functies die vol- 
gens de in (2) gegeven regels kunnen worden geconstrueerd zijn primi- 


tief recursief. 


Omdat alle basisfuncties totaal zijn en omdat composities en primitieve 
recursie de totaliteitseigenschap niet verstoren mogen we concluderen 
dat alle primitief recursieve functies totaal zijn. Verder volgt de vol- 
gende stelling uit de stellingen 5.1 en 5.2 omdat de basisfuncties 
Turing-berekenbaar zijn. 


Stelling 5.3 


Elke primitief recursieve functie is een Turing-berekenbare totale func- 
tie. 


Tot nu toe moesten we om aan te tonen dat een functie Turing-bere- 
kenbaar was, ofwel een specifieke TM construeren waarmee de functie 
kon worden berekend, ofwel we moesten onze toevlucht nemen tot een 
informele argumentatie. Vanaf heden is de situatie aanmerkelijk verbe- 
terd: als we kunnen aantonen dat een functie primitief recursief is dan 
weten we dat de functie ook Turing-berekenbaar moet zijn. We lieten 
al zien dat de volgende functies primitief recursief en dus TM-bereken- 
baar zijn: nul, een, iden, len, concat, omgek en complement. 

In het vervolg zullen we nog een primitief recursieve functie gebrui- 
ken, namelijk de functie alsleeg. De expressie alsleeg(x, ,x „Xx ) levert 


r 


X, als X, = € en anders Xe Dus: 


alsleeg (€, X ,X, ) = iden(x,) 
alsleeg (0x, ‚x,x.) -= iden (x) 
alsleeg(1x, ,X 3X, ) = iden(x.) 


Op overeenkomstige wijze definiëren we de functies alsnul en alseen. 
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alsnul(e ‚„x,,%) = iden(x) 
alsnul(0x, „x,,x.) = alsleeg(x,„x,,x) 
aseet 1x, X3, X) = tden(x.) 

en / 
alseen (e XX) = iden (x, ) 


alseen (0X; ,X7 , X, ) = iden(x 


alseen( 1x, „x sX) = alsleeg (x, X, Xa) 


Andere belangrijke primitieve recursieve functies zijn de functies 
kop, staart, voet en top die we allen al eerder behandelden. De functie 


kop wordt met behulp van primitieve recursie als volgt gedefinieerd 


kop(e) =e 
kop(0x) = nul(x) 
kop(1x) = een(x) 


Evenzo definiëren we staart met 


staart(e) € 


staart(0x) = iden(x) 
staart(1x) = iden(x) 


Het definiëren van voet en top door middel van primitieve recursie laten 
we als oefening aan de lezer over (oefening 5.4). 

Als een functie B''+>B als codomein {0,1} heeft (te interpreteren 
als respectievelijk onwaar en waar) dan noemen we deze functie een 
n-air predicaat. In het navolgende zullen primitief recursieve predica- 
ten een belangrijke rol spelen. Twee predicaten die we al tegenkwamen 
zijn nul en een; deze functies zijn beide unair. Ook de functie isnul 
is een unair primitief recursief predicaat, gedefinieerd door 

I alis x= 


isnul(x) = 
0 anders 


De functie isnul kan als volgt primitief recursief worden gedefinieerd 


i 
jà 


isnul(e) 
isnul(0x) = nul(x) 
isnul( 1x) 


Hu 
a 
x 
= 
è 
kd 
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Vervolgens wordt het unaire primitief recursieve predicaat 
iswaar(x), dat test of x=1 gedefinieerd door 


iswaar(e) = 0 
iswaar(0x) = nul(x) 


iswaar( 1x) = isnul(x) 


Als: : Pac peers) een n-air predicaat is dan kunnen we 
P(X Asse) de ontkenning van P, uit P construeren door middel 
van de definitie 
1 als P(X, X seeen) =0 


=P, ee Xa) z 


0 als P(A ss, je. 1 


n 


Als P(x, i Xs si 
dat ook omdat 


Xa) primitief recursief is dan is SPX Xs 0090) 


~ P(x, X Xp) = alseen (P(x, ,xX "Xp NUL ) een(x )) 


DET grg 
Als Pesse. 2 


dan kunnen we met behulp van de conneectieven A (en), v (of) en > 


Xp) en P, (X, X Xa) n-aire predicaten zijn 


(impliceert) als volgt nieuwe predicaten construeren. 


T «als P, CX Xose eX) = 1 
5 UR MEN are Hoek 
PD (Asse, DD APR Xas 0000) = sE AES n 
0 anders 
1 als P, (Xj Xas. Xa) = 1 
3 of P. at reren d 
Doper) VP, (2, X TELELA) = Fro n 
0 anders 
1 als ofwel 
ofwel P, (Xj 9%, ee LD) = 0 
ofwel 
P, (X Xy e e e Xa) > AC TOEREREN PD) = zowel P, CX 9%, = 


5 
alsook P, (X, Eke Xr 


0 anders 
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Als we nieuwe predicaten (P, A P, Js (P, v P, Nt (P, = P, ) definiëren 


door 
(P, ^ Po D(X Xas ee eX) = P CX Xas ee eX) A P, (X; X pere) 
(P, v PIL pee 00) = P, (22, seee Xh) V P, (X; X TELELE 


(P> P, D(X X peers) = P (XXa ee e X) SPA, X TETEL aD) 


dan zijn (P, A P, ), (P, y P‚_) en (P, œP) primitief recursief als P, 


en P, dat zijn. Immers 


Xx) 


(P, AP) (se Xha 


alseen (P, (x, HE A A Xa) ì P, (XXa Hai Xa) : 
nul (x, )) 


(P, Vv P, ) (ss en Xa) alseen (P, (x, Xss Xn) ‚een(x,) s 


P, (X, X7, E Xa)? 


(P, > P, (X, Ls eee) = alseen (P, (x, Bj TETTED PLL e 0 0D 
een(x,)) 
Om dit aan te tonen hadden we ook kunnen gebruiken dat 
(P, A P, ) (Xs, ben X n) = ~P, (X, X7, aa X) v P (xX, xs RRE Xa). 


In hoofdstuk 2 behandelden we enkele berekenbare rekenkundige 
bewerkingen met behulp van de unaire of de binaire voorstelling van 
natuurlijke getallen. We definiëren nu een predicaat unair(x) dat als 
resultaat 1 oplevert als x€B. Een toegelaten unaire voorstelling is 
van een natuurlijk getal en dat 0 oplevert als dat niet het geval is. 


Dit predicaat is primitief recursief omdat 


0 


nul(x) 


unair(e) 


unair( 0x) 


unair(lx) = unair(x) v isnul (x) 


Als unair(x) = 1 dan zullen we met x het gehele getal weergeven dat 
door x in unaire notatie wordt voorgesteld. 

Laten we nu eens onderzoeken hoe we functies kunnen definiëren 
die eenvoudige rekenkundige bewerkingen uitvoeren met behulp van 
unaire representaties. We zorgen ervoor dat de functies totaal zijn door 
0 voor ongedefinieerd te gebruiken. Bijvoorbeeld 
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0 als ~ unair(x) v ~ unair(y) 


plus(x,y) = ee 
z anders, met zZz =% +y 


Deze operatie is primitief recursief omdat 
plus(x,‚y) = alseen(unair(x) A unair(y) ‚„concat(x,y),‚nul(x))) 


In oefening 5.5 wordt de lezer verzocht aan te tonen dat ook de bewer- 
kingen minus, maal en gedeelddoor primitief recursief zijn. Een reken- 
kundig bewerking van bijzonder belang is de functie machta(n) die 
een getal a tot een gehele macht n verheft en dus a” berekent. Als we 
veronderstellen dat getallen unair worden weergegeven dan kunnen we 
bijvoorbeeld definiëren 

0 als ~ unair(x) 


macht2(x) = 4 z 
y anders, waarbij y= 2 


Deze operatie is primitief recursief omdat 


macht2(x) = alseen(unair(x),umacht2(x),nul(x))) 


met 
umacht2(e) =1 
umacht2(0x) = nul(x) (of een willekeurige andere functie omdat 
dit niet kan voorkomen) 
umacht2(1x) = concat(umacht2(x),umacht2(x)) 


Behalve unair definiëren we een predicaat binair om na te gaan of 
een string xE€B een toegelaten binaire representatie is van een na- 


tuurlijk getal. 


binair(e) =0 
binair(0x) = nul(x) 
binair(lx) = een(x) 


Conversie van binair naar unair wordt uitgevoerd met de functie 
binun:B>B. Als xE€B een toegelaten binaire representatie is dan 
geeft binun(x) de bijbehorende unaire weergave; in alle andere geval- 


len is het resultaat 0. 
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binun(x) = alseen(binair(x),binunl(x),nul(x)) 
met 


binunl(e) = € 
binunl(0Ox) = binunl(x) 


binunl(1x) = conecat(umacht2(len(x)),binunl(x)) 


We laten het aan de lezer over om aan te tonen dat de omgekeerde 
conversie van unair naar binair met behulp van een functie unbin even- 
eens primitief recursief is, (oefening 5.6). Als we nu een n-aire reken- 
kundige functie fi hebben die uitgaat van een unaire representatie en 
als we hebben aangetoond dat die functie primitief recursief is, dan 
volgt hieruit dat een overeenkomstige functie f> die uitgaat van een 
binaire representatie, eveneens primitief recursief is. 

Op dezelfde wijze kunnen we concluderen als we een rekenkundige 
functie hebben die een binaire representatie veronderstelt en als we 
hebben aangetoond dat die primitief recursief is, dat ook de bijbehoren- 
de functie die uitgaat van unaire representatie primitief recursief is. 

Als x en y de unaire voorstellingen zijn van de natuurlijke getallen 
xen y en als x<y dan levert het primitief recursieve predicaat 
kleinerdan(x,y) de waarde 1 op; in alle andere gevallen is de waarde 
0. 


kleinerdan(x,y) = alseen(unair(x) unair(y),kleiner(x,y),nul(x)) 


met 


kleiner(e,y) = ~isnul(y) 


kleiner(0x,y) = nil(x) (of een willekeurige andere functie omdat 
dit geval niet kan optreden) 


kleiner(1x,y) = alsleeg(y,nul(x),kleiner(x,staart(y))) 


De natuurlijke lexicografische ordening van B:€,0,1,00,01,... zijn 
we al herhaalde malen tegengekomen en dit zal ook in het vervolg van 
dit boek nog vaak het geval zijn. Het is daarom handig om wat primi- 
tief recursieve functies en predicaten te hebben in verband met deze 
ordening. De functie volgend levert bij een input xE€B de volgende 
string uitgaande van de lexicografische ordening. De functie is gedefi- 


nieerd als 
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volgend(x) = omgek(voorvolgend(omgek(x))) 
met 


voorvolgend(e) = 0 
voorvolgend(0x) = consl(x) 


voorvolgend(1x) = consO(voorvolgend(x)) 


De voorganger functie vorig levert bij een input x€B de voorganger 
van de string x uitgaande van lexicografische ordening. We zorgen er- 
voor dat vorig totaal is door vorig(e) = € te definiëren. 

vorig(x) = omgek(voorvorig(omgek(x)) 
met 


voorvorig(e) =€ 
voorvorig(0x) = alsleeg(x,‚nil(x),cons1(voorvorig(x))) 


voorvorig(1x) = consQ(x) 


Als x de i-de string is in de lexicografische ordening dan geeft 


pos(x) als resultaat de unaire representatie van i. 
pos(x) = concat(umacht2(len(x)),binunl(x)) 


Omgekeerd als voor xE€B geldt dat unair(x) waar is dan levert 
lex(x) een string y, zodanig dat pos(y) = x; in alle andere gevallen 
levert lex(x) € als resultaat. 

e lex(x) = alseen (unair(x),len2(x),nil(x)) 


met 


lex 2(e) 


lex2(0x) = nil(x) (of een willekeurige andere functie) 


€ (of een willekeurige andere waarde) 


lex2(1x) = alsleeg(x,nil(x),volgend(len2(x))) 


We kunnen nu ook bewijzen dat het predicaat voorganger(x,y) 


1 als x voor y komt op grond van de lexi- 


cografische ordening 
voorganger(x,y) = 


0 anders 
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primitief recursief is. Immers 
voorganger(x,‚y) = kleiner(pos(x),pos(y)) 


Het gelijkheidspredicaat isgelijk(x,y) dat 1 levert als x= y en 


0 in alle andere gevallen is ook primitief recursief omdat 
isgelijk(x,y) = >voorganger(x,y) A »voorganger(y,‚x). 


Nog een voorbeeld van een primitief recursief predicaat is de functie 
even, met even(x) = 1 desd als x een binaire representatie is van 
een even getal. 


even(x) = binair(x) Aeindigtop 0(x) 
met 


0 | 
eindigtop0(0x) = eindigtop O(x) v isnul(x) 


eindigtop O(€) 


eindigtop0(1x) = eindigtop 0(x) 


De functie oneven, die 1 levert als x oneven is wordt op overeen- 


komstige wijze gedefinieerd. 


oneven(x) = binair(x) Aeindigtop 1(x) 


met 
eindigtopl(e) = 0 
eindigtopl(0x) = eindigtop 1(x) 
eindigtopl(1lx) = eindigtop 1(x) v isnul(x) 


Zo zouden we door kunnen gaan met het definiëren van primitief 
recursieve functies en predicaten. Het is een grote en belangrijke 
klasse functies, maar omdat al deze functies totaal zijn betreft het hier 
niet de klasse van alle Turing-berekenbare functies. Gaat het dan ten- 
minste om alle totale Turing-berekenbare functies? Zelfs dat blijkt 
helaas niet waar te zijn! Toch vormen de primitief recursieve functies 
een zeer belangrijke deelverzameling van alle totale berekenbare func- 
ties BB. omdat compositie en primitieve recursie de meest elemen- 
taire methoden voor het construeren van functies zijn. Het is trouwens 


niet eenvoudig een totale functie B >B te construeren die Turing- 
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berekenbaar is, maar die niet primitief recursief is. Een zeer bekend 
voorbeeld is Ackermann's functie Ack:B >B. 


Ack(x) = a(x,x) 


met 


Ox, als X, in 2 


ax, ,x) = a(staart(x,),0) als X, €en X, = E 


a(staart(x,) „ax, ,staart(x,))) als X, # e en X > 


Om te bewijzen dat Ack niet primitief recursief is moet men aantonen 
dat voor iedere unaire primitieve functie g er een xE€B bestaat, zo- 
danig dat |Ack(x)| > |g(x)|. (Zie bijvoorbeeld Hermes, 1965.) 


PARTIEEL RECURSIEVE FUNCTIES 


Voordat we de klasse van partieel recursieve functies kunnen definiëren 
moeten we nog een nieuwe manier behandelen waarop nieuwe functies uit 
oude kunnen worden geconstrueerd. Het gaat hier om de methode van 
onbegrensde minimalisatie, (zie oefening 5.8 voor het verschil met 
begrensde minimalisatie). 

Als P(X, X7, éé 
(n>2) dan construeren we als volgt een (n-1)-aire functie 


Xn) een n-air primitief recursief predicaat is 


PCR Des cin de) ot Rixa reia) mat Dehülp: van onbegrensde 
ES E n-1 1 n 


ee 
minimalisatie. We definiëren de waarde van f (x, >X TELTE p als de 


eerste string y in de natuurlijke lexicografische ordening van B, zoda- 


nig dat P(x, X Ar) = 1. Als zo'n y niet bestaat dan is f on- 


si . e 
gedefinieerd. De notatie voor deze definitiewijze is 


F(x, X Xi) yz Hye Pesser PY) 


e 


en we lezen uy P(x, X Xap Y) als 'de kleinste y, waarvoor 


EREE 
ic! 
P(X, Xos eres) waar is'. 
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Stelling 5.4 


Als P een n-air primitief recursief predicaat is (n 22) en als f een 
(n-1)-aire functie is, gedefinieerd met behulp van onbegrensde minima- 


lisatie dan is f Turing-berekenbaar. 


Bewijs. Omdat P primitief recursief is mogen we veronderstellen dat P 
wordt berekend door een Turingmachine M. De TM die f berekent heeft 
nu drie tapes. De eerste tape wordt alleen voor input/output gebruikt 
en op de tweede wordt B in lexicografische ordening €,0,1,00,01,... 
gegenereerd. Zodra een string y uit deze ordening wordt gegenereerd 
simuleren we op tape 3 het gedrag van de machine M met input 


Xa Xose eX ag> waarbij NLse es, X van tape 1 wordt gekopi- 


nej 
eerd en y van tape 2. De simulatie is altijd eindig omdat P een totale 


berekenbare functie is. Als P(x,,X AV) de waarde 1 blijkt 


2 
te hebben dan wordt tape 1 schoongemaakt, wordt y naar tape 1 geko- 
pieerd en stopt de berekening. In alle andere gevallen maken we tape 

3 schoon, genereren de volgende string uit de lexicografische ordening 


op tape 2 en vervolgen het zoekproces. 


We noemen een partiële functie f :B”>B een partieel predicaat als 


f(x Re PN 
heeft. Bovenstaand bewijs is niet geldig voor TM-berekenbare partiële 


Xa) ofwel niet is gedefinieerd, ofwel de waarde 0 of 1 


predicaten omdat het niet zeker is dat de simulatie op tape 3 altijd zal 


stoppen. Het kan voorkomen dat P(x, X X -1 ‚y) maar dat er 


ge 
een y! bestaat die voorafgaat aan y, waarvoor PRA eres) 
ongedefinieerd is. Als deze situatie echter niet voorkomt dan kunnen 
we ons bewijs generaliseren. We definiëren daarom als Pl ,x, T4] Xn) 
een partieel predicaat is (n > 2) 
! AANS 

y als P(X Xose e eX aY ) 1 

0 


voor alle voorgangers y" van y' 


en P(X, X.X ay" 
uy P(X, Xs bs EE, = 


ongedefinieerd anders 


Hieruit volgt: 
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Stelling 5.5 


Als P een n-air predicaat is (totaal of partieel) en als P TM-bereken- 
baar is en als f de (n-1)-aire functie is, gedefinieerd door 


uy P(X, X7, ysi Xa) dan is f ook TM-berekenbaar. 


Een eenvoudig voorbeeld van een partiële recursieve functie, gedefi- 
nieerd door onbegrensde minimalisatie, is de functie ondef, die altijd 


ongedefinieerd is. 
ondef(x) = uyenul(65(x,y)) 


Ook hier laten we de selectorfuncties gewoonlijk weg uit de definities. 


We mogen dan schrijven 
ondef(x) = uy-nul(y) 
We kunnen deze functie ook door middel van recursie definiëren omdat 


ondef(e) = ongedefinieerd 
ondef(0x) = ondef(x) 
ondef(lx) = ondef(x) 


Dit laatste is niet altijd mogelijk: er bestaan partiële functies die 
we met behulp van onbegrensde minimalisatie kunnen definiëren, maar 
die niet louter met recursie en compositie kunnen worden geconstrueerd. 
We kunnen echter eisen dat we bij toepassen van de minimalisatiemetho- 
de altijd uitgaan van een primitief recursief predicaat, (zie oefening 
5.10). 

We noemen een string xEB een palindroom desd als x = omgek(x). 
Als een palindroom van even lengte is dan kan het geschreven worden 
als concat(y,‚omgek(y)). De functie halfpalin wordt dan gedefinieerd 
als 

als x = concat(y,‚omgek(y)) 


halfpalin(x) = 
ongedefinieerd anders 


Deze functie is partieel recursief omdat 


halfpalin(x) = uy "P(x,y ) 
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Hierbij is P het primitief recursieve predicaat gedefinieerd door 
P(x,y) = isgelijk(x,concat(y,‚„omgek(y))) 
De klasse van partieel recursieve functies op B bestaat uit functies 


B +B (n21), geconstrueerd volgens de volgende regels. 


(1) Basisfuncties. De volgende functies zijn partieel recursief: 
(a) nil:B>B gedefinieerd als 


nil(x) = € voor alle x€B 


(b) cons0 en consl:B>B gedefinieerd als 


Ox 


consl(x) = 1x voor alle x€ B 


consÒ(x) 


(c) de selectorfuncties 6 (1Si<n), waarbij 6,:B" >B gedefini- 
eerd wordt als 
st ded 
Mik 


ý Xn) =e, 


P KAEN i 


(2) Uit bekende partieel recursieve functies en predicaten kunnen we 
nieuwe partieel recursieve functies construeren door middel van 

(a) compositie 

(b) recursie 

(c) onbegrensde minimalisatie. 

Als we recursie gebruiken dan mag de definitie van een n-aire func- 
tie de volgende vorm aannemen: 


ofwel (geval n = 1) 


fe). ew (of wEB of w is ongedefinieerd) 
fx) = h, (x, f(x)) 
f(x) = hf) 


met h, en h, partieel recursief, 
ofwel (geval n >1) 


F(E, X7, n Xa) = g(x 
FOX Xas eea Xa) i pere T CEE 00090) 


fla, „ss 040) ACH MEETELT mE js ee 090) 


lI 
> 
an) 
8 

m 
è 


u 
> 
N 
8 
3 
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met g, h, en h, partieel recursief. In beide gevallen mogen argumenten 
van g, h, of h, worden weggelaten en/of in een andere volgorde staan. 
Als we de methode van de onbegrensde minimalisatie gebruiken dan 
mag het predicaat elk willekeurig partieel recursief predicaat zijn. Zo- 
als we al eerder zagen zou de klasse van functies niet veranderen als 


we ons zouden beperken tot primitief recursieve predicaten. 


(3) Behalve de basisfuncties en de functies die kunnen worden gecon- 
strueerd volgens de in (2) gegeven regels bestaan er geen partieel 
recursieve functies. 

Uit deze definitie en de stellingen 5.1, 5.2 en 5.3 volgt onmiddellijk : 


Stelling 5.6 


(1) Elke partieel recursieve functie op B is Turing-berekenbaar. 


(2) Elke partieel recursieve functie op B is partieel recursief op B. 


Omdat partieel recursieve functies niet noodzakelijk totaal zijn 
bestaan er natuurlijk ook partieel recursieve functies die niet primitief 
recursief zijn. Een voor de hand liggend voorbeeld is de functie 
ondef:B >B. 

Na deze voorbereidingen kunnen we nu de belangrijkste stelling uit 
dit hoofdstuk behandelen. 


Stelling 5.7 (Stelling van Kleene) 


De partieel recursieve functies op B zijn juist de Turing-berekenbare 


functies op B. 


Bewijs. Uit stelling 5.6(1) volgt dat iedere partieel recursieve functie 
op B Turing-berekenbaar is. We geven nu een schets van het bewijs 
dat elke Turing-berekenbare functie op B ook partieel recursief is. 

Op grond van stelling 2.6 mogen we veronderstellen dat een TM, M 
die een (mogelijk partiële) functie BSB berekent, als tape-alfabet 


{0,1,A} heeft. Om te beginnen is het n-tupel sx Ee SE Ll 


ek 
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gecodeerd als een binaire string z en we mogen aannemen dat deze co- 
dering zelf partieel recursief is. Zonder verlies van algemeenheid mogen 
we ook aannemen dat de toestanden van M als labels de natuurlijke 
getallen 1,2,...,n hebben. Hierbij is 1 de begintoestand en zijn alle 
toestanden k voor een of andere k<n eindtoestanden. Tenslotte mogen 
we veronderstellen dat de lees/schrijfkop steeds naar links of naar 
rechts beweegt en dus nooit blijft stilstaan boven dezelfde positie op 
de tape. 

Laten we nu eens een configuratie C = (q‚i,a,a,B) van M bekijken 
met „q€{1,2,..s,n}, -1EZ,0,BEB. en a€ {A,0,1}. Zo'n configuratie 
kunnen we met behulp van een Gödel-nummering coderen als een geheel 


getal C. Een mogelijke codering is bijvoorbeeld 


A 


C = qeieórâef 


met 
à = 21 
en als i>0 
i = i 
32.5! als i<0 
7°11 als a = £, 
Akra ars kop(x) = 1 en n(a) is het gehele getal 
â = S met binaire voorstelling « 
73 1120) als kop(a) = 0, a = complement(a) en n(o) 
is het bijbehorende gehele getal 
13 als a = A, 
a = } 132? als à = 0, 
13° als a = 1; 
17 als B = €, 
en B e={172-197) als kop(B) = 1, 
173.19”) als kop(ß) = 0. 


Een beginconfiguratie Co = (1,1,e,0,101) zou dus worden gecodeerd 
als Co = 2°3°52e7e11°132°172:19?, Het voordeel van het gebruik van 
Gödel-nummering is dat uit het codegetal C de componenten van C snel 
en efficiënt kunnen worden teruggevonden door slechts gebruik te ma- 


ken van eenvoudige rekenkundige bewerkingen. De binaire equivalenten 
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van deze eenvoudige bewerkingen zijn alle primitief recursieve functies. 
Laten we nu de binaire voorstelling van een positief geheel getal n 
weergeven door bin(n). Elke configuratie C kan dan worden voorge- 
steld door een unieke string c = bin(C) € B. We kunnen nu aantonen 


dat de volgende functies partieel recursief zijn. 


bin(q) als x = bin(C) voor een configuratie 
eerste(x) = C met als eerste component q 

niet gedefinieerd anders 

bin(i) als x = bin(C) voor een configuratie 
tweede(x) = | C met als tweede component i 

niet gedefinieerd anders 

q als £ 3 bin(C) voor een configuratie 
derde(x) = C met als derde component a 

niet gedefinieerd anders 

a ET GO bin(C ) voor een configuratie 
vierde(x) = C met als vierde component a 

niet gedefinieerd anders 

B als x s bin(Ĉ ) voor een configuratie 
vijfdelx) = C met als vijfde component ß 

niet gedefinieerd anders 


Laten we nu een TM; M = ({1,2,...,n},{0,1,A},{0,1},P,1,{k,...‚n}) 
bekijken. De functie P:{1,2,...,k-1}x{0,1}>{1,2,...,n} x {0,1} x {L, R} 
kan dan worden voorgesteld door middel van drie functies. 


volgendetoestand:{1,2,...,k-1}x{0,1}>{1,2,...,‚n} 
volgendesymbool: {1,2,...,k-1} x{0,1}> {0,1} 
stap: {1;2,..., k-41} {0,1} {L,R} 


met P(i,b) = (wolgendetoestand(i,b),volgendesymbool(i,b),stap(i,b)) 
i € {1,2,...,k-1} en b€{0,1}. Functies B? >B die overeenkomen met 
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volgendetoestand, volgendesymbool en stap kunnen we construeren door 
de getallen 1,2,...,‚n binair weer te geven en door 0 voor L en 1 
voor R te gebruiken. Deze binaire functies noemen we bvolgendetoe- 
stand, bvolgendesymbool en bstap. Deze drie functies zijn alle partieel 
recursief want zij kunnen van geval tot geval worden gedefinieerd, (zie 
oefening 5.9). 

We kunnen nu partieel recursieve functies B-B definiëren die, 
gegeven een binaire voorstelling van een getal n>0, de binaire voor- 


Rn n i 4 
‚ 9 , 7 , enzovoorts berekenen. Er is hier sprake 


stelling van Dek 3 
van partiële functies omdat de ongedefinieerd zijn als de inputstring 
met een 0 begint. We noemen deze functies bmacht2, bmacht3, enzo- 
voorts. De functie bmult:B*>B is de vermenigvuldingsfunctie, uit- 
gaande van binaire voorstelling van het argument. 

Als we nu de string z €B als input aan onze Turingmachine 


geven dan is de beginconfiguratie 
Co = (1,1,€, dan z = € dan A anders kop(z),staart(z)) 


Deze beginconfiguratie wordt gecodeerd als Cc, = bin(C_) en 


JEN, input(z). Hierbij is input een partieel recursieve functie gedefini- 
eerd als 


input(z) = bmult(const(z),‚bmult(arg4(z),arg5(z))) 


met 
(i) const(z) is een constante functie die als resultaat de binaire string 
oplevert voor de geheeltallig codering van de eerste drie argumenten 


1,1,e van Co’ dat wil zeggen het getal 21.3.52.7.11, 


(ii) arg4(z) = bmacht13(alsleeg(z,een(z),‚alsnul(kop(z);tweel(z), 
drie(z)))) 


twee en drie zijn constante functies die respectievelijk de binaire 
strings 10 en 11 opleveren. 


(iii) argolz) = alsleeg(staart(z),bmacht17(een(z)),alseen(kop(staart(z)), 
bmult(bmacht17(twee(z)),bmacht19(staart(z))), 
bmult(bmacht17(drie(z)), 

bmacht19complement(staart(z)))))) 
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We zullen nu laten zien dat de functie volgendeconfiguratie partieel 

recursief is. Gegeven een codering van een configuratie C, van M moet 
volgendeconfiguratie de codering berekenen van de volgende configura- 
tie Cn 


‚, onder de voorwaarde dat voor M een volgende stap mogelijk is. 


Als Ca = (q,i,&,a,B) dan 


(volgendetoestand(q‚a),i-1,top(a),als a=E€ dan A anders voet(a), 
concat(volgendesymbool(q,a),ßB)) als stap(q,a) = L 


Vaga = į (volgendetoestand(q,‚a),i+1,concat(a,volgendesymbool(q,‚a), 


als B=e dan A anders kop(ß),staart(ß)) als stap(q,a) = R 


niet gedefinieerd anders 


Als nu Ca gecodeerd is als een binaire string Ga bin(C‚) dan kun- 
nen binaire strings voor de componenten q, i, a, a, B worden verkregen 
door het toepassen van de partiële recursieve functies eerste, tweede, 

derde, vierde en vijfde. Vervolgens kunnen we vanuit de definitie van 


C de binaire R bin(Ĉ ) verkrijgen door deze functies toe 


Baa samen met de AUSI ELN TE bvolgendesymbool 
en bstap, de machtfuncties bmacht2, bmacht3, enzovoorts, de constante 
functies alsleeg, alsnul, alseen en de functies kop, staart, top, voet 
en concat. De uitwerking laten we verder aan de lezer over. Die is 


niet moeilijk maar wel erg bewerkelijk! Zo krijgen we de partiële functie 


niet gedefinieerd als x geen codering is 
van een toegelaten con- 
figuratie van M, of zelfs 
als dat wel het geval is, 
als er geen volgende stap 
mogelijk is, 


volgendeconfiguratie(x) = als x de codering is van 


een configuratie Ch en 
als de volgende stap van 
M tot een configuratie 


C leidt met codering 
n+1 


Y. 
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De functie constant:B>B is de constante functie die met elke binaire 
string als input als resultaat de unaire representatie van k oplevert. 

Als x de codering van een configuratie voorstelt dan kunnen we vast- 
stellen of de machine zich in een eindtoestand bevindt door gebruik te 


maken van het predicaat 
halt(x) =»kleinerdan(binun(eerste(x)),constantk(x)) 


Als halt(x) = 1 dan is x de codering van een eindconfiguratie en de 
bijbehorende output volgt uit output(x). Het is niet moeilijk aan te 
tonen dat ook deze functie partieel recursief is door gebruik te maken 
van de definitie van de functie output zoals die in hoofdstuk 2 werd 
gegeven, samen met de functies eerste, tweede, enzovoorts. 

Als x,y €B dan kunnen we machinestap recursief als volgt defini- 


eren 


machinestap (€ ‚y) y 


machinestap(0x,y) = undef(y) 


machinestap(1x,y) = volgendeconfiguratie(machinestap(x,y)) 


Als x een unaire string is dan levert machinestap(x,y) dus een code- 
ring van de configuratie van machine M na x stappen uitgaande van 
beginconfiguratie y. Als dat aantal stappen niet mogelijk is of als y 
geen toegelaten configuratie voorstelt dan is machinestap(x,y) niet 
gedefinieerd. 

Nu kunnen we de partiële functie fy:B >B definiëren, die door 


M wordt berekend na input van een codering z van ess er): 


fy) = output(machinestap (aantstap(z),input(z))) 
met 


aantstap(z) = uy*alseen(unair(y), 


halt(machinestap(y‚input(z))), nul(y)) 


Dit betekent dat fm een partieel recursieve functie is en hiermee is 
de schets van het bewijs voltooid. We kunnen nog opmerken dat de 
methode van de onbegrensde minimalisatie maar op een plaats werd toe- 
gepast. 
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De stelling van Kleene biedt ons de mogelijkheid te bewijzen dat een 
functie Turing-berekenbaar is. Immers als we kunnen bewijzen dat een 
functie partieel recursief is dan volgt hieruit Turing-berekenbaarheid. 
Dit belangrijke resultaat is in overeenstemming met het belang dat in 
de informatica wordt gehecht aan recursieve structuren. 

De klasse van partieel recursieve functies werd oorspronkelijk ont- 
wikkeld als een formalisering van de klasse van effectief berekenbare 
functies. Uit de stelling van Kleene volgt nu dat het hier slechts gaat 


om een variant van de These van Church. 


OEFENINGEN 


1. Laat zien dat er aftelbaar oneindig veel berekenbare totale functies 
B>B bestaan. Gebruik de diagonalisatie methode om aan te tonen 
dat het aantal totale functies B-B niet-aftelbaar oneindig is en 
leid hieruit af dat het aantal niet-berekenbare totale functies B >B 


eveneens niet-aftelbaar oneindig is. 


2. Bereken Ack(011). Bewijs met inductie dat Ackermann's functie 


een totale functie B-B is. 


3. Als g een totale functie B”*!>B is en als h.h, totale functies 
n+1 
B 


die voldoet aan 


>B(n?21) zijn dan bestaat er precies een functie f:B”>B 


PCE, see) = g(x 
FOX Xas eee ) = h CX sereen X ef Xas ee 000) 


fC 1x, „xs PT T, = hx, re X p fX X» Ei Xa)? 


Bewijs dit. Geldt deze bewering ook voor partiële functies? 


4. Laat zien dat de totale functies voet en top:B>B die we in hoofd- 


stuk 1 definieerden, primitief recursief zijn. 


5. Definieer totale functies voor de rekenkundige bewerkingen -, x 
en +. Ga uit van een unaire codering en toon aan dat deze drie 


functies primitief recursief zijn. 
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Toon aan dat de functie unbin:B>B die is gedefinieerd door 


0 


unbin(x) =|, anders, waarbij y de binaire representatie van 


x voorstelt 


primitief recursief is. 


Als DX sX sees) en P, (X, X Xa) primitief recursief zijn 


gees 
dan is (P, | P, (x, x seeen) dat ook. Hierbij geldt 

(P, | P, A(X Xas sees) = 0 dan en slechts dan als zowel 
P, (X, X 


Xn) = 1 als ook P, (x, X Xa) = 1. Toon dit aan. 


EE EE 
Laat vervolgens zien dat ~P i (x Xet Xa) en 
(P) VP), sss 
operator | kunnen worden gedefinieerd. 


>) beide louter in termen van de koppel- 


Als P een n-air primitief recursief predicaat is dan kunnen we een 
n-aire functie f(n>1) als volgt definiëren met behulp van 
begrensde minimalisatie. fx TF Xa) is het eerste woord y in 
de lexicografische ordening van B zodanig dat 


P(x, X eX Y) =1 of y=z. Laat zien dat de functie f nood- 


pts 
zakelijk primitief recursief is. 


We zeggen dat een functie f:B>B gedefinieerd is van geval tot 


geval als de volgende definitie wordt gebruikt 


1 1 
b, als x= a, 
fx) ={ * : 
a als x= A1 
b anders 
n 
voor bepaalde ajansta E B en willekeurige b bj Bg ‚be Bu 


{ongedefinieerd}. Toon aan dat iedere unaire van geval tot geval 
gedefinieerde functie B >B partieel recursief is. Breid de definitie 


uit tot n-aire functies B >B(n >1). 


Als een functie f:B>B TM-berekenbaar is dan kan de functie 
worden gedefinieerd als een partieel recursieve functie met slechts 


een toepassing van onbegrensde minimalisatie en een primitief recur- 
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sief predicaat. [Hint: gebruik stelling 2.1 en het bewijs van stel- 
ling 5.7.] Leid hieruit af dat iedere primitief recursieve functie 

kan worden gedefinieerd met behulp van hoogstens een toepassing 
van onbegrensde minimalisatie en gebruik van een primitief recur- 


sief predicaat. 


11. Bewijs dat de functies volgendeconfiguratie en output die werden 
gebruikt in het bewijs van stelling 5.7, inderdaad partieel recursief 


zijn. 


12. Toon aan dat Ackermann's functie partieel recursief is. 


Complexiteitstheorie 


Ye gods! Annihilate but space and time 
O Goden! Vernietig 't al; behoudt ruimte en tijd 


Alexander Pope 
The Art of Sinking in Poetry 


ANALYSE VAN ALGORITMEN 


We maakten in het voorgaande kennis met twee typen problemen - oplos- 
bare problemen en problemen die, zoals het halting probleem, niet op- 
losbaar zijn. We weten uit ervaring dat sommige oplosbare problemen 
veel eenvoudiger zijn dan andere. Het sorteren van een rij van n gehe- 
le getallen bijvoorbeeld is een betrekkelijk gemakkelijk op te lossen 
probleem en ditzelfde geldt voor het bepalen van de minimale opspan- 
nende boom van een graaf. Het oplossen van een moeilijk probleem zal 
in het algemeen veel computertijd in beslag nemen en vaak is er ook 
veel geheugenruimte voor nodig. Voordat we echter mogen beweren dat 
een probleem moeilijk is, zullen we er eerst zeker van moeten zijn dat 
het probleem niet alleen maar moeilijk lijkt omdat we een verkeerde op- 
lossingsmethode toepassen. Met andere woorden we willen er zeker van 
zijn dat zelfs het best mogelijke algoritme voor het oplossen van het 
probleem veel rekentijd nodig heeft en mogelijk ook op veel geheugen- 
ruimte beslag legt. 

In dit hoofdstuk zullen we deze overwegingen formaliseren en we 
zullen vragen beantwoorden zoals: Wanneer is een probleem gemakkelijk ? 
Wanneer is het ene algoritme beter dan het andere? Wanneer is er voor 
een oplossing veel geheugenruimte nodig? De tak van de berekenbaar- 
heidstheorie die zich met het beantwoorden van dit soort vragen bezig 
houdt wordt complexiteitstheorie genoemd. Veel resultaten die we hier 
beschrijven dateren van na 1970. De complexiteitstheorie is nog steeds 


een belangrijk onderwerp van onderzoek en de resultaten hebben 
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belangrijke repercussies voor toepassingen binnen de informatica. De 
belangrijkste ideeën zullen we hier behandelen en we zullen daarbij 
zeker ingaan op de theorie van de NP-complete problemen. 

De tijd die nodig is om een bepaald probleem op te lossen hangt bij- 
na altijd af van de '‘omvang' van het speciale geval dat moet worden 
opgelost en ook van het algoritme dat voor het oplossen gebruikt wordt. 
De probleemomvang wordt meestal op een nogal informele manier geme- 
ten; er wordt een verband gelegd met de hoeveelheid input die nodig 
is om het speciale geval te beschrijven. Laten we bijvoorbeeld eens het 
probleem bekijken van het vermenigvuldigen van twee vierkante matri- 
ces met geheeltallige elementen. Als het in een speciaal geval gaat om 
het vermenigvuldigen van twee nxn matrices dan kunnen we n als 
maat voor de probleemomvang gebruiken, maar we zouden natuurlijk 
ook n? of 2n? kunnen gebruiken. Als we de standaardmethode voor 
matrixvermenigvuldiging gebruiken dan wordt het element (i,j) bere- 
kend uit het scalaire produkt van de i-de rij uit de eerste matrix en 
de j-de kolom van de tweede matrix. Het berekenen van dit produkt, 
(als we ervan uitgaan dat er geen overflow optreedt omdat de getal- 
omvang de capaciteit van de binnen de computer voorstelbare gehele 
getallen overschrijdt), vergt 2n lees-operaties, n vermenigvuldigingen, 
n-1 optellingen en een schrijf-operatie. De totale matrixvermenigvuldi- 
ging vergt dus 2n? lees-operaties, n? vermenigvuldigingen, n?(n-1) 
optellingen en n? schrijf-operaties. Hiermee hebben we een maat voor 
de hoeveelheid werk (en dus ook voor de tijd) die nodig is om twee 
matrices met behulp van dit algoritme te vermenigvuldigen. 

Bij de analyse van algoritmen (meestal in de een of andere hogere 
programmeertaal geschreven) door informatici worden inderdaad de 
benodigde elementaire operaties geteld. Elementaire operaties zijn de 
rekenkundige en logische operaties, verder bestandsbenaderingen, het 
inlezen van waarden van variabelen en het wegschrijven van waarden 
naar variabelen. De tijdcomplexiteit van een algoritme A, tijd ACD wordt 
nu uitgedrukt als een functie van de probleemomvang n. De waarde van 
tijd ACV wordt gewoonlijk gedefinieerd als het grootste aantal primi- 
tieve operaties dat door het algoritme, gegeven een inputomvang n, 
zou kunnen moeten worden uitgevoerd. Dat wil zeggen dat tijd ACD 
een ‘slechtste geval'-maat is. De analyse wordt vaak ter bepaling van 


de gemiddelde of verwachte complexiteit uitgevoerd, maar in deze inlei- 
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ding zullen we ons alleen met de meestal eenvoudiger te analyseren com- 
plexiteit in het slechtste geval bezighouden. 

Sommige primitieve operaties nemen meer tijd in beslag dan andere 
en de werkelijk benodigde tijd is sterk machine-afhankelijk. Ook is er 
bij het praktisch uitvoeren van algoritmen altijd sprake van extra beno- 
digde tijd voor adresberekeningen, controle van arraygrenzen, overflow- 
afhandeling, type checking enzovoorts. Al deze zaken zullen wij niet 
bij onze analyse betrekken en onze definitie van tijdeomplexiteit is dus 
vrij ruw en niet direct in de praktijk toepasbaar. Ook op een ander 
punt kan men nog kritiek hebben op onze definitie van tijdcomplexiteit: 
bij kleine problemen is de rekentijd vaak helemaal niet afhankelijk van 
de probleemomvang, maar louter van de tijd die nodig is om het pro- 
gramma op te starten. Meestal worden resultaten over de tijdcomplexi- 
teit van algoritmen daarom weergegeven met behulp van de zogenaamde 
O-notatie. (orde-notatie). 

Stel f, g zijn functies Zis ub zeggen dan f(n) is O(g(n)), 

lees: f(n) is van de orde g(n) desd als er positieve constanten c en 
N bestaan zodanig dat f(n)<eg(n) voor alle n>N. 

Zo is 3n?+ 4n-3, O(n?) omdat 3n? + 4n- 3 <4n? voor alle n>3. 
Sterker nog: iedere azn°?+an+ap is O(n?) omdat an? +ajn+aoS 
(|az2|+ |a| + |ao|)n? voor alle n>1. Uit de definitie volgt niet auto- 
matisch dat een 0(n?) functie een term in n? moet bevatten. Iedere 
0(n) functie is ook On’) en ditzelfde geldt voor iedere O(nlogn) 
functie. Het omgekeerde van deze bewering is echter niet waar. 

De matrixvermenigvuldigingsmethode die we eerder in dit hoofdstuk 
bespraken is een 0(n?) algoritme. Verdere voorbeelden kan de gein- 
teresseerde lezer vinden in The Design and Analysis of Computer 
Algorithms (Aho, Hopcroft & Ullman, 1974) of in Fundamentals of 
Computer Algorithms (Horowitz & Sahni, 1978). 

Veronderstel dat de algoritmen A en B een bepaald probleem T op- 
lossen met tijdcomplexiteit van respectievelijk tijd A en tijd dan noemen 
we algoritme A beter dan algoritme B voor het oplossen van probleem TI 
als 
(1) tijd 4 is OCtijd ,), maar 
(2) tijd is niet OCtijd, ). 

Er bestaan betere algoritmen voor matrixvermenigvulding dan het algo- 


ritme dat we hier beschreven. Zie bijvoorbeeld het algoritme van Stras- 
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sen (oefening 6.3). Dit is O(n*-°*), maar het is bekend dat ook dit 
nog niet het beste algoritme is. 
Bovenstaande definitie van 'beter dan! is nogal misleidend. Veronder- 
stel dat we twee algoritmen A en B hebben met 
1.000.000 voor nS$1.000.000 
tijd ACV = | 
n voor n>1.000.000 
en 
n voor n <1.000.000 
tijd (1) | 3 
n voor n>1.000.000 
dan is tijd, (n), OCtijdp(n)) omdat tijd, (n) < tijd (n) voor alle 
n>1.000.000 maar tijd, (n) is niet octijd y (n)). Volgens onze defini- 
tie is algoritme A dus beter dan algoritme B, maar in werkelijkheid 
komt het misschien nooit voor dat we met een probleemomvang van meer 
dan 1.000.000 werken. In de praktijk zullen we dus algoritme B boven 
algoritme A prefereren. Gelukkig lijkt het erop dat we in de praktijk 
dergelijke situaties vrijwel nooit tegen zullen komen en we kunnen dus 
de 0-notatie en de 'beter dan' definitie wel degelijk gebruiken als goede 
gereedschappen bij het analyseren van algoritmen. De constanten binnen 
tijdcomplexiteitsfuncties zijn gewoonlijk betrekkelijk klein en het gedrag 
van de gebruikte functies is niet pathologisch. 
Behalve de 0-notaties worden ook de Q- en de 6-notatie gebruikt 
bij de analyse van algoritmen. Als f en g functies a a zijn dan 
noemen we f(n) Q(g(n)) desd als er positieve constanten c en N 
bestaan zodanig dat f(n)>g(n) voor alle nèN. Zo is bijvoorbeeld 
3n? +4n-3 Q(n?) maar ook A(n) en QĦnlogn). Als we weten dat 
ieder algoritme dat een probleem TI oplost een tijdcomplexiteitsfunctie 
moet hebben dat 2(g(n)) is voor een of andere functie g(n) dan 
weten we ook dat ieder O(g(n)) algoritme dat TI oplost in bepaalde zin 
optimaal is. Zolang we echter zo'n algoritme niet hebben gevonden hoe- 
ven we er niet zeker van te zijn dat een dergelijk algoritme ook bestaat. 
Als f, g functies (EES M zijn dan heet f(n) 8(g(n)) desd als 
f(n) zowel Olg(n)) als Q(g(n)) is. Als f en g polynomen zijn en 
f(n) is Ə(g(n)) dan moeten dus f en g van dezelfde orde zijn, maar 
de functies hoeven niet identiek te zijn omdat er sprake kan zijn van 


verschillende waarden van constanten. 
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We noemen een algoritme van polynomiale tijd desd als zijn tijdcom- 
plexiteit orn?) is voor een k20. In de praktijk geldt dat als een 
probleem oplosbaar is met behulp van een algoritme van polynomiale tijd, 
we meestal een algoritme kunnen vinden met een tijdcomplexiteitsfunctie 
ocn") met een vrij kleine k, (meestal kleiner dan 5). Specialisten in 
het ontwerpen en analyseren van algoritmen besteden meestal veel tijd 
aan het zoeken naar efficiënte algoritmen voor specifieke problemen. 

Er bestaat echter een hele klasse van problemen waarvoor het tot nu 
toe niet gelukt is om algoritmen van polynomiale tijd te vinden. Een 
algoritme met een tijdcomplexiteitsfunctie a(c”) voor een of andere 
c>1 heet een algoritme van exponentiële tijd. Dergelijke algoritmen 
kunnen zich in het slechtste geval nogal desastreus gedragen. Stel bij- 
voorbeeld dat een algoritme A dat een probleem TI oplost voor een pro- 
bleemomvang n tijd g nodig heeft. Als T ook door een algoritme B kan 
worden opgelost in tijd n° dan kan men uitrekenen dat voor een pro- 
bleemomvang n = 60, B het probleem in een minuut oplost, terwijl A 
er 28000 jaar voor nodig heeft! 

Bij een redelijke probleemomvang kunnen niet-polynomiale algoritmen 
behoorlijk tijdrovend zijn, maar we moeten daarbij niet vergeten dat 
we het steeds hebben over het slechtste geval. Het is best mogelijk 
dat alleen in enkele uitzonderingsgevallen werkelijk zeer veel rekentijd 
nodig is terwijl het algoritme in de praktijk tot volle tevredenheid 
bruikbaar is. Zo wordt voor het oplossen van lineaire programmerings- 
problemen meestal het simplexalgoritme gebruikt dat in het slechtste 
geval van exponentiële tijd is. Toch blijkt het in de praktijk erg goed 
te werken en wordt het verkozen boven de zogenaamde ellipsoïdemetho- 
de die wel van polynomiale tijd is. 

Als we voor een probleem M alleen een algoritme hebben dat niet 
van polynomiale tijd is dan zullen we meestal proberen om een wel poly- 
nomiaal algoritme te vinden. Maar wat als dat niet lukt? Dat kan aan 
ons liggen, maar het kan ook aan het probleem T liggen - misschien 
bestaat er wel helemaal geen polynomiaal algoritme. We noemen een pro- 
bleem onhandelbaar (Engels: intractable) als er geen polynomiaal algo- 
ritme voor bestaat, maar als het wel oplosbaar is. Alles wijst erop dat 
er klassen van dergelijke problemen bestaan en in het vervolg van dit 
hoofdstuk zullen we een theorie ontwikkelen die deze bewering onder- 


steunt. 
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Voordat we nader ingaan op deze theorie geven we een voorbeeld 
van een probleem waarvan men algemeen denkt dat het onhandelbaar is 
omdat nog niemand een polynomiaal algoritme heeft gevonden om het op 
te lossen. Uit de theorie die we zullen ontwikkelen zal blijken dat het 
ook niet waarschijnlijk is dat dit ooit zal lukken! Het probleem heet het 
handelsreizigersprobleem (Engels: Traveling Salesman Problem of TSP). 
Gegeven zijn n steden, C‚5C5s--+sC, en een handelsreiziger bevindt 
zich in stad C,» Tussen elk paar steden Cj»e; is een afstand dij gege- 
ven. De handelsreiziger vertrekt vanuit c, en wil elk der steden 
c 


geer 
keren. Het kan hem niet schelen in welke volgorde hij de steden 


Ch precies een keer bezoeken en vervolgens naar huis terug- 


bezoekt, maar wel wil hij totaal een zo klein mogelijke afstand afleggen. 
Het op te lossen probleem is om deze rondreis met minimale kosten te 
bepalen. Als we er maar genoeg tijd aan besteden dan is het oplossen 
van het handelsreizigersprobleem niet zo moeilijk: bekijk eenvoudig alle 


(n-1)! mogelijke permutaties van de steden c oCh en bereken de 


bijbehorende kosten. Selecteer vervolgens de aa rondreis. 

Net als in hoofdstuk 3 zullen we ons ook hier weer hoofdzakelijk 
bezighouden met beslissingsproblemen en niet met optimaliseringsproblemen 
zoals het handelsreizigersprobleem. We zagen echter ook al eerder dat 
uit elk optimaliseringsprobleem een bijbehorend beslissingsprobleem kan 


worden afgeleid. Bij het handelsreizigersprobleem hoort het volgende 


beslissingsprobleem: 
TSP 
Gegeven: Een verzameling C = fe, C3». seCh} van n steden en bij 


ieder paar Cé, € C een afstand de z‘ en een grens b ez: 
Gevraagd: Kan een handelsreiziger vanuit stad C, elk der steden in 
{c 2 Ch? precies een keer bezoeken en vervolgens naar huis terug- 


keren, waarbij de totale afgelegde afstand <b is? 


Algoritmen worden traditioneel als deterministisch beschouwd, dat wil 
zeggen bij iedere stap in het algoritme ligt de volgende stap eenduidig 
vast. Gewoonlijk laten we de constructie of dan ook niet toe in onze 


algoritmebeschrijvingen. Zouden we echter over mogelijkheden tot paral- 
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le verwerking beschikken dan zou die constructie wel kunnen worden 


gebruikt. Een opdracht zoals 
doe A of doe B 


zou parallel kunnen worden uitgevoerd. Een processor zou A kunnen 
uitvoeren terwijl de tweede B behandelt. De mogelijkheid tot parallelle 
verwerking geeft dus aanleiding tot niet-deterministische algoritmen. 
Zouden we beschikken over mogelijkheden tot onbegrensde parallelle 
verwerking (zover zal het echter nooit komen) dan zouden we TSP in 
polynomiale tijd kunnen oplossen. Elk van de processoren zou dan een 
van de (n-1)! mogelijke permutaties nemen en de bijbehorende afstand 
berekenen. Vervolgens zouden we het resultaat bekijken en nagaan of 
er ook een afstand <b bij was. Als we maar een processor hebben dan 
zouden we eigenlijk moeten kunnen 'raden' welke van de (n-1)! per- 
mutaties moet worden berekend. Als we goeg raden en het antwoord is 
'ja' dan hebben we het probleem opgelost. We zullen in het vervolg zien 
dat het idee van een niet-deterministisch programma een belangrijke 


toepassing heeft in de theorie die we nu gaan beschrijven. 


DE KLASSEN P EN NP 


Wat we hiervoor behandelden gaan we nu formaliseren en als rekenmo- 
del gebruiken we daarbij de Turingmachine. Net als in hoofdstuk 3 
beperken we ons tot beslissingsproblemen met ja/nee antwoorden. 

Beschouw een beslissingsprobleem T en een codering e van in- 
stanties I van Tl in strings van T*. Een algoritme dat T oplost is dan 
een TM, M= (Q,2,T,P,q, F) die kan bepalen of een input e(l) al 
dan niet in de taal Li e” (e(I)|IEY,} voorkomt. 

We beperken onze coderingen e tot geschikt compacte coderingen. 
Hiermee bedoelen we dat (i) geen codering van een instantie I bevat 
overbodige opvulsymbolen, (ii) getallen of andere symbolen in I worden 
in binaire notatie gecodeerd (of octaal, of decimaal enzovoorts, maar 
niet unair) en (iii) e(I) kan eenduidig en effectief naar I worden gede- 
codeerd. 

Stel we hebben een deterministische TM, M= (Q, >,T,P,a F) en 
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we voeren in de string xE€T*. We definiëren nu de tijdcomplexiteits- 


functie van een deterministische TM, M, tijd, :Z >Z als 


tijd ym) = max{mler bestaat een x€ g zodanig dat berekening 


van M na input x lengte m heeft}. 


De lengte van een berekening van een deterministische TM na een gege- 
ven input is, zoals we eerder zagen, gedefinieerd als het aantal confi- 
guraties dat wordt doorlopen voordat de machine stopt. De lengte van 
de berekening komt dus exact overeen met de tijd die de TM voor de 
berekening nodig heeft. Als M een algoritme is en dus na elke input na 
eindige tijd stopt dan is tijd y) gedefinieerd voor alle n. Als dit 
niet het geval is dan kan M in een oneindige lus geraken na een of 
andere input x en tijd, la |) is dan oneindig. 

Als tijd ym) O(nk) is voor een k>0 dan is M van polynomiale 
tijd. Een deterministische TM van polynomiale tijd is noodzakelijk een 
algoritme omdat de machine na iedere input uiteindelijk zal stoppen. 


We definiëren nu een klasse talen P door 


P = {L|er bestaat een deterministische TM van polynomiale tijd 


die L accepteert}. 


A 


Elke taal in P is dus een recursieve taal (stelling 4.1). Hoewel P for- 
meel is gedefinieerd als een klasse talen, kunnen we P ook beschouwen 
als een klasse beslissingsproblemen. We schrijven MEP desd als er 


een codering e van T bestaat zodanig dat L eE P. P staat dus voor 


alle problemen die in polynomiale tijd a Si opgelost door 
deterministische algoritmen. 

Laten we nu eens uitgaan van een nondeterministische Turingmachine 
M = (Q,Z,T,P,q ,F). We zeggen dat M het beslissingsprobleem TM onder 
codering e oplost desd als T(M) = Lie Dit betekent dus dat er bij 
elk probleemvoorkomen IE Yi? na input e(I) in M, een of andere rij 
van mogelijke stappen bestaat die leidt tot het met succes stoppen van 
M. 

Stel M is een nondeterministische Turingmachine (NDTM) die de 
string xCT* accepteert. Er bestaat dan minstens één rij van acties 
(rekenstappen) waarbij de hele string x en mogelijk meer door M wordt 


geaccepteerd. De tijd die M nodig heeft om x te accepteren is gedefini- 
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eerd als de lengte van de kortste van die mogelijke rijen van reken- 


stappen. De tijdcomplexiteitsfunctie tijd voor een NDTM, M is alleen 


M 
afhankelijk van het aantal stappen nodig om de input te accepteren. Als 
inputs van lengte n niet door M worden geaccepteerd dan spreken we 
af dat tijd y) = 1. De tijdcomplexiteitsfunctie voor een NDTM, M 


wordt dus gedefinieerd als 
1 als T(M)NT” =p, 


min {m|er bestaat een x€ T” 
tijd yn) = zodanig dat de tijd nodig 
voor het accepteren van x 


door M gelijk is aan m} anders 


M heet een NDTM van polynomiale tijd desd als tijd, (m) Oonk) is 
voor een of andere k2>0. 

We kunnen nu de klasse NP definiëren - dit is de klasse van talen 
(en dus van beslissingsproblemen) die door NDTM's in polynomiale tijd 


worden geaccepteerd. Namelijk 


NP = {L|er bestaat een NDTM van polynomiale tijd die L 


accepteert } 


Elke taal in NP is dus recursief aftelbaar. Net als P komt ook NP 
behalve met een klasse van talen overeen met een klasse van beslis- 
singsproblemen. Er geldt TM € NP desd als er een codering e van M 


bestaat zodanig dat L e ENP. NP vertegenwoordigt de problemen die 


in polynomiale tijd se zijn door een nondeterministisch program- 
ma. 

Uit het voorgaande en op grond van wat we behandelden in hoofd- 
stuk 4 zal het duidelijk zijn dat PcNP. Ook lijkt het zeer waarschijn- 
lijk dat P # NP - alle geleerden zijn het er eigenlijk over eens dat 
deze bewering waar is, maar tot nu toe heeft niemand het kunnen bewij- 
zen. Dit is wel zeer betreurenswaardig omdat de theorie die we hierna 
zullen ontwikkelen volledig op deze veronderstelling gebaseerd is. Mocht 
ooit worden bewezen dat wel geldt dat P = NP dan gelieve de lezer 
de volgende pagina's uit dit boek te scheuren! 

Een beslissingsprobleem dat zich in de klasse NP bevindt is, het 


handelsreizigersprobleem TSP. De kern van de oplossingsmethode 


Complexiteitstheorie 155 


bestaat uit het uitschrijven door de NDTM van een gissing naar de op- 
lossing in de vorm van een rondreis behorend bij een specifiek probleem 
en uit het vervolgens berekenen van de bijbehorende kosten. Zijn die 
kosten kleiner of gelijk b dan is het antwoord op de gestelde vraag 

'ja'. Als de NDTM de juiste stappen uitvoert (en dus goed raadt) dan 
lost de machine het probleem op. 

NP bevat veel problemen zoals TSP die niet in P lijken te zitten. 
Sterker nog: zouden we ooit kunnen aantonen dat P #NP dan volgt 
hieruit dat TSPP. TSP is een voorbeeld van een NP-compleet pro- 
bleem. Dit is een klasse van problemen in NP die in bepaalde zin de 
moeilijkste problemen in NP vertegenwoordigt. In figuur 6.1 is de situa- 
tie schematisch weergegeven. 

Voordat we het begrip NP-compleet formeel definiëren, zullen we 
eerst de klasse NP nog wat verder onderzoeken. Zij 
M = (Q;X,T, PaP) een NDTM die een taal L<T* herkent. Als M 
zich in een bepaald stadium van de berekening in configuratie 
C = (q,i,&,a,B) bevindt dan zijn er misschien, omdat #P(q‚a)>1 kan 
zijn, verschillende toegelaten stappen mogelijk. Een configuratie die uit 
C volgt door het uitvoeren van een toegelaten stap, noemen we een 
kind van C. Grafisch geven we dat weer met behulp van een configura- 
tieboom. In de wortel van de boom plaatsen we Co de beginconfiguratie. 
Deze knoop wordt vervolgens verbonden met alle kinderen van Co en 
deze kinderen weer met hun kinderen. Zie figuur 6.2. Heeft een con- 
figuratie in de boom geen kinderen dan wordt deze een blaadje in de 


boom. Een dergelijke configuratie wordt een acceptatieconfiguratie 


Moeilijk 


Gemakkelijk 


Figuur 6.1 De klasse NP 
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Co 


PE IN _ Stelt een mogelijke 


Ce rij rekenstappen met 


FN Lengte 3 voor. 


Ca Co Cio Can Caz C13 


Figuur 6.2 Een voorbeeld van een configuratieboom 


genoemd desd als het om een situatie gaat waarin M zich in een eind- 
toestand bevindt. Ieder pad vanuit de wortel via een aantal knopen 
naar een acceptatieconfiguratie stelt een rij rekenstappen voor die de 
oorspronkelijke input accepteert. Als we een nieuwe toestand q, €Q 
introduceren met P(q‚a) = {(q,‚,‚4,0)} voor alle qE€F en als we ver- 
volgens F opnieuw definiëren als {q, } dan bevindt de NDTM, M zich 
in een acceptatieconfiguratie desd als M zich in toestand q, bevindt. 
Een dergelijke toestand noemen we een acceptatietoestand, Hiermee 


bewezen we tegelijkertijd de volgende stelling. 


Stelling 6.1 


Als L wordt geaccepteerd door een NDTM, M dan bestaat er ook een 
NDTM, M' met precies één eindtoestand (de acceptatietoestand) die L 
accepteert. 


Merk op als we x in M' invoeren en M' komt in de acceptatietoestand 
dat hieruit volgt dat x€ L. Het omgekeerde geldt echter niet, dat wil 
zeggen als M' in een lus komt of in een weigertoestand dan mogen we 
niet concluderen dat xL. Het is immers ook mogelijk dat we alleen 
maar op het verkeerde pad zijn geraakt in de configuratieboom. 

Laten we nu eens een string xE€T* bekijken. Als x wordt inge- 
voerd in de NDTM, M dan is de beginconfiguratie 
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Co (x) = (qo» 1, &,als x= € dan randers kop(x),staart(x)). De string x 
wordt door M geaccepteerd desd als er een pad bestaat in de configu- 
ratieboom vanuit de wortel Co. x) naar een acceptatieconfiguratie. De 
lengte van een dergelijk pad bepaalt de tijd die voor de berekening 
nodig is. M is dus een NDTM van polynomiale tijd die L accepteert desd 
als er een k20 bestaat zodanig dat voor iedere x€L het kortste 
pad in de boom vanuit C(x) tot aan een acceptatieconfiguratie lengte 
ly(®¥) heeft, waarbij l(%) oclæ| f) is. 

Het maximum aantal kinderen van een configuratie is graad(x) = 
max {#P(q,a) lq EQ‚aE€ ZX}. Dit is de graad van de NDTM, M. De eerste 
l niveaus van een en van een NDTM met graad m>1 

k l+1 


hebben noodzakelijk < > m = (m -1)/(m - 1) knooppunten. 
k=0 


Stelling 6.2 


Als L wordt geaccepteerd door een NDTM, M dan bestaat er ook een 
NDTM, M, met graad <2 die L accepteert. Als verder M, L in polyno- 
miale tijd accepteert dan doet M 2 dat ook. 


Bewijs. Zij M= M m = (Q, Z,T,P,qF) een NDTM met graad m>2. We 
4 7 (Q',Z,T,P',q F) van 
graad m-1 kunnen construeren die L ook accepteert. 


laten nu eerst zien hoe we een NDTM M m 


Veronderstel dat er maar r verschillende paren (q‚a)E€Q xx 
bestaan met #P(q‚a) = m. We voeren nu r nieuwe toestanden in 
CHEZ PERETE: M en we definiëren Q' =Q EC PEL PIERRET ME We definiëren 
verder P' gelijk aan P behoudens deze r paren. Als (q,a) het i-de 
paar is in een of andere aftelling en als P(q,a) = {(qa,‚b‚.X,), 


(aA X) +- CAm Pm Xm)? dan definiëren we 


P' (q,a) = {(q, b, X; ),(q/ +4, 0) } 


en P' (q'a) = {(qa,,b,X) eo CAm Pm m?) F 


Duidelijk is dat T(Mm? = TOM) en Mei 
Dit proces kunnen we voortzetten en we krijgen zo een rij van NDTM's, 
MM: M3 
van de stelling bewezen. 


is van graad m-1. 


die alle L accepteren. Hiermee is het eerste gedeelte 


158 Hoofdstuk 6 


Stel nu dat M = M m de string x accepteert. Dit betekent dat er 
in de configuratieboom van M met wortel C‚@) een pad bestaat met 
lengte lye. Veronderstel dat er een knoop op dit pad zit met graad 
k (1<k<m) en dat die knoop bij configuratie C behoort. De kinderen 


van C zijn bijvoorbeeld Ci Casse C . Op grond van de constructie 


k 
van M 2 kan de overgang van C naar een van zijn kinderen worden 
weergegeven zoals in figuur 6.3(b) voor de een of andere permutatie 
o van 1,2,...,k. Het pad in de configuratieboom bij M > dat een over- 
k heeft 


een lengte van hoogstens k-1<m- 1. Er bestaat dus een pad vanuit 


gang aangeeft van C naar een van de kinderen C TASE UST h 


de wortel C(x) naar een acceptatieknoop in de configuratieboom van 
M, met lengte ly,(x)<(m-1)l (x). Als nu 1y) O(|xl“) is dan 
geldt dit ook voor (m-1)l y en dus ook voor lM (X). Hiermee is 


ook het tweede deel van de stelling bewezen. 


C 
C 
/ Cor 
Z 
Z 
C, C2 Br Ck i JE C, 
/ 
(a) in Mm ge 
' j 
Td 
A 
/ 
/ 
Cor Cor -1 
(b) in Mz 
Figuur 6.3 
DE KLASSE NP-COMPLEET 


Veronderstel dat we twee problemen hebben TM en T, en verder een 


algoritme A dat T, oplost. Als elke instantie IJ van IR gemakkelijk zou 


kunnen worden getransformeerd naar een voorkomen van T, dan konden 
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we A ook gebruiken om TI ‚ OP te lossen. Als we bijvoorbeeld een poly- 
nomiaal algoritme hadden voor TSP dan zou dit ook het volgende pro- 


bleem oplossen. 


Hamiltoncircuit (HC) 
Gegeven: Een graaf G. 
Gevraagd: Bevat G een Hamiltoncircuit, dat wil zeggen een cyclisch 


pad dat alle knooppunten onderling verbindt? 


We zullen een functie f specificeren die elk HC-probleem in een bij- 
behorend TSP-probleem vertaalt. De functie f kan vrij eenvoudig wor- 
den gedefinieerd. Veronderstel dat een bepaald HC-probleem is gespeci- 
ficeerd door een graaf G bestaande uit een verzameling knopen (Engels: 
vertices) V en een verzameling kanten of verbindingen (Engels: edges) 
E. Het bijbehorende TSP-probleem heeft nu C=V met voor elk paar 
steden vj” EC, d,, =l als v; en y, onderling verbonden zijn in G en 
d;; = 2 als zij niet verbonden zijn. De grens b krijgt de waarde 
n= |V| en duidelijk is dat I€ Yç desd als f(I) €EYrgp 

Een dergelijke functie f is een voorbeeld van een reductie; een 
begrip dat we ook al in hoofdstuk 3 tegenkwamen. Hier zijn we geinte- 
resseerd in polynomiale tijd en de reducties willen we dan ook beperken 
tot in polynomiale tijd uitvoerbare reducties. We zeggen dat een pro- 
bleem T i polynomiaal reduceert of transformeert naar T., notatie 
T « T, ‚ desd als er een functie ledi bestaat met 


(1) voor iedere LEDs TE Yn, desd als f(I)€ Yn, en 
(2) f kan worden berekend in polynomiale tijd. 

In een formelere taaltheoretische context zeggen we dat L £ Tj 
polynomiaal transformeert naar L, ST*, notatie L $ L, desd als er 
een functie f: ind Pi bestaat zodanig dat 


(1) voor alle xETE, xE L, desd als fœ) E L, en 


(2) er bestaat een deterministische TM die f in polynomiale tijd bere- 
kent. 


Dus geldt nen, desd als er (geschikte en efficiënte) coderingen 


e, en e, bestaan zodat et d, 
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Stelling 6.3 


« is transitief. 


Bewijs. We gaan bij het bewijs uit van het taalmodel. Veronderstel dat 
LsL, en L, =L.. We moeten dan aantonen dat ook Le L,» Als 

L, STY en L, ST¥ dan bestaat er een functie f:T¥>T3 die behoort 
bij de transformatie L 5 L. Stel f wordt in polynomiale tijd berekend 
door een TM, M r Verder is er ook een functie g: T7 >T die in poly- 
nomiale tijd wordt berekend door een TM, Ma en die hoort bij de trans- 
formatie L, =L, met L, ST en L, cT}. We construeren vervolgens 
de TM, M die de acties van M f simuleert, gevolgd door de acties van 
Ma’ Deze deterministische Turingmachine berekent de functie Jo f in 
polynomiale tijd. Omdat xEL, desd als f(x)E L, desd als 

OEY) EL, definieert Iof de transformatie L,“ L. 


Stelling 6.4 


Als L, =L, en L, EP dan is L EP. 


Bewijs. Veronderstel L, er en LET) en. fs: TT is de func- 
tie die behoort bij de transformatie L, a L,. Stel verder dat M, een 
deterministische TM is die f in polynomiale tijd berekent. Omdat L, EP 
bestaat er een TM, M, van polynomiale tijd die L, accepteert. Als M de 
acties van M f simuleert, gevolgd door de acties van M 2 dan hebben we 
een deterministische TM van polynomiale tijd verkregen die L ‚ accep- 
teert. Dus geldt L, € Ps 


We definiëren twee talen L, en L, (en evenzo twee problemen T 


1) als polynomiaal equivalent als Le L, en L, x L, (evenzo T Rin 
en nen, ). We weten dat « transitief is op grond van stelling 6.3; 
met de eenheidsfunctie kan worden aangetoond dat « reflexief is en 
dus is polynomiale equivalentie per definitie symmetrisch. Dit laatste 
betekent weer dat polynomiale equivalentie een equivalentierelatie is. 


P is een van de equivalentieklassen, (zie oefening 6.4) - de klasse van 
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de ‘gemakkelijke! talen (problemen) in NP. De 'moeilijke! talen (proble- 
men) in NP zijn de NP-complete problemen. 

Een taal L is NP-compleet dan en slechts dan als 
(1) LENP, en 
(2) voor alle L'E€ENP geldt L'eL. 

We noemen een probleem TI NP-compleet desd als Ene NP-compleet 
is voor een geschikte beknopte codering e. Informeel is M NP-compleet 
desd als TENP en als voor alle T'ENP geldt dat M «TM. 

De klasse van NP-complete talen zullen we in het vervolg NPC noe- 


men. 


Stelling 6.5 


(1) NPC is een equivalentieklasse onder polynomiale equivalentie. 
(2) Als NPCNP +Ø dan is NP=P. 


Bewijs. 

(1) Stel dat LL, € NPC dan geldt per definitie L L, ENP. Omdat 
L i NP-compleet is geldt L Tu L, en omdat L, N P-compleet is geldt 

L u L. Dus zijn L ‚en L, polynomiaal equivalent. 

(2) Stel LENPC NP. Omdat LENPC geldt voor elke L'ENP dat 
L'« L. Maar ook geldt LEP en dus volgt uit stelling 6.4 dat alle 

L'€ P. In dat geval is dus NP=P. 


In werkelijkheid wijst alles erop dat NP # P en dus zullen we wel 
geen oplossingen met algoritmen van polynomiale tijd kunnen vinden 
voor NP-complete problemen. Trouwens als er een NP-compleet probleem 
was waarvoor zo'n algoritme werd gevonden dan was er een polynomiaal 
algoritme voor alle problemen in NP. Het eerst bekende NP-complete 
probleem was het voldoeningsprobleem, (Engels: satisfiability problem) 
voor een verzameling clausen. 
ui 


MEERE. 
Een literaal uit U is gedefinieerd als ofwel een van deze variabelen, 


Gegeven is een verzameling Boole'se variabelen, U = {u, ‚u 


ofwel de ontkenning van een uEeU,‚ (meestal geschreven als u). Een 


claus over U is een deelverzameling van literalen uit U. Zo is 
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{u ‚u u 5} een claus over U die bestaat uit drie literalen. We zeggen 
dat aan een claus is voldaan door middel van een toekenning van waar- 
den (waar of onwaar) aan de Boole'se variabelen als minstens een van 


de literalen uit de claus de waarde 'waar' heeft. Dus aan (u, ‚u wus? 
„ waar is, of u, onwaar, of 


u, waar. Laat C nu een verzameling van clausen over U voorstellen. 


We zeggen dan dat aan C voldaan kan worden dan en slechts dan als 


is voldaan door een waardetoekenning dat u 


er een toekenning van waarden bestaat aan de Boole'se variabelen U, 

zodanig dat aan elke claus uit C tegelijkertijd is voldaan. Aan bijvoor- 
beeld C = (lu U U} {Uu U hlu, us} kan worden voldaan omdat aan 
iedere claus in C wordt voldaan door ieder van de volgende waardetoe- 


kenningen. 


Aan de volgende verzameling clausen kan niet worden voldaan 
{{u, ‚u, },tu, ‚u, },{u, }}. 
Het beslissingsprobleem kan zo worden geformuleerd 


Vervulbaarheidsprobleem (SAT) 
Gegeven: Een eindige verzameling U van Boole'se variabelen en een 
eindige verzameling C van clausen over U. 


Gevraagd: Kan aan C door een waardetoekenning worden vervuld? 


Cook (1971) formuleerde de volgende stelling die aanleiding heeft 


gegeven tot een groot aantal belangrijke resultaten. 


Stelling 6.6 (Stelling van Cook) 


SAT is NP-compleet. 


Bewijs. Om te bewijzen dat SATENPC moeten we aantonen dat 
SAT ENP en dat voor alle T'ENP geldt dat T'«SAT. 
Dat SATENP is vrij duidelijk. Als een instantie I van SAT n 


Boole'se variabelen bevat dan raadt het nondeterministische programma 
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dat I oplost eenvoudig naar een oplossing door waarden aan de varia- 
belen toe te kennen en het controleert vervolgens of deze waardetoe- 
kenning maakt dat alle clausen zijn vervuld. Als niet alle clausen kun- 
nen worden vervuld dan zal via raden geen oplossing worden gevonden. 
Het lijkt op het eerste gezicht vrij moeilijk om te bewijzen dat voor 
alle T'ENP geldt dat T' «SAT. We weten per slot van rekening niet 
eens welke problemen er in NP zitten! Het enige dat we weten is dat 
er bij ieder probleem M' een NDTM, M' moet bestaan die het probleem 
in polynomiale tijd oplost. Van dit gegeven moeten we dan ook uitgaan. 
Zij M' = (@Q,2,T,4,F) een NDTM die L' = Lie 


bij een geschikte codering e'. We mogen veronderstellen dat de tijdeom- 


cT* accepteert 


plexiteitsfunctie voor deze NDTM om?) is voor een positief geheel 
getal k. Verder kunnen we op grond van stelling 6.2 veronderstellen 
dat M' graad 2 heeft. 

Omdat SATENP weten we dat er een NDTM van polynomiale tijd 
is, Moar die L = LSAT.e accepteert bij een geschikte codering e. 
Als we uitgaan van het taalmodel dan moeten we aantonen dat L'« L 
en dat dientengevolge op probleemniveau geldt dat T'e« SAT. We zullen 
voor elke L' laten zien hoe we een functie fz! kunnen construeren die 
strings in T* afbeeldt naar instanties van SAT. Deze instanties 
zouden dan kunnen worden gecodeerd met behulp van e om zo strings 
in L te verkrijgen. Onze functie fz! zal voldoen aan x€ L' desd als 
fz 0) een waardetoekenning heeft die voldoet (en als zijn codering 
zich dus in L bevindt). Zodra we dus f, ‚hebben bepaald en hebben 
aangetoond dat deze functie in polynomiale tijd berekenbaar is, hebben 
we het bestaan van de gewenste polynomiale transformatie bewezen. We 
laten nu zien hoe fz (2) wordt gedefinieerd in termen van de NDTM, 
M'. 

Als xE€T* door M' wordt geaccepteerd dan moet deze acceptatie 
plaatsvinden in een tijd <m = max(c,,c |æ" |) voor bepaalde constan- 
ten c, en c 5 omdat de tijdeomplexiteitsfunctie immers on) is. Dit 
wil zeggen dat van de door de machine te gebruiken tape alleen het 
stuk tussen positie -m+1 en m+1l wordt gebruikt om te testen of 
een gegeven input xE€T* wordt geaccepteerd. De configuratie van 
M' in ieder stadium van de berekening kan volledig worden gespecifi- 
ceerd met behulp van de inhouden van deze 2m+1 locaties in combi- 


natie met de huidige toestand en de positie van de lees/schrijfkop. Op 
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grond van stelling 6.1 mogen we veronderstellen dat M' maar een accep- 
tatietoestand heeft en de toestandverzameling Q bevat dus do (de begin- 
toestand), q, (de acceptatietoestand) en Q,,43,-+-,4, Voor een a21, 
De verzameling symbolen die op de tape kunnen staan is > en bestaat 

voor een b>|T|+1. We definiëren nu de vol- 


uit # Ti, st S 


O e gi b 
gende Boole'se variabelen. 


38 


Toestand-variabelen: voor alle 0<i<m, 0<k<a een variabele 
Q[i,k] die de waarde 'waar' krijgt desd als M' zich in toestand dk 
bevindt op tijdstip i. 

Kop-variabelen: voor alle 0<i<m, -m+1<j<m+1 een variabele 
H[i,j] die de waarde 'waar' krijgt desd als de tapekop op tijdstip i de 
locatie j leest. 

Symbool-variabelen: voor alle 0<i<m, -m+1<j<m+1, OSkSb een 
variabele S[i,j,k] die de waarde 'waar' krijgt desd als het symbool 
in locatie j op tijdstip i gelijk aan Sk is. 

Keuze-variabelen: voor alle 0<k<a, 0SIS<b zodanig dat 
#P(qays,) = 2 en voor alle 0<i<m en -m+1Sj<m+1l twee Boole'se 
variabelen P Lij,k,ll en P, li,j,k,l] die worden gebruikt om aan 
te geven welke van de twee mogelijke stappen wordt gekozen. 

Al deze variabelen tezamen vormen de verzameling U voor het SAT- 
probleem dat we uit M' en een gegeven x€T* construeren. Nu moe- 
ten we de bijbehorende clausen nog construeren. Deze construeren we 
uit de string x op een zodanige wijze dat aan alle clausen voldaan kan 
worden dan en slechts dan als er een berekening door M' is die x 
accepteert. Aan ons SAT-probleem kan dus voldaan worden desd als 
FEL 

De clausen worden in verschillende groepen geconstrueerd met 


behulp van de volgende regels. 


Unieke toestand 
Op ieder tijdstip OSis<m moet de NDTM, M' zich in een unieke (dat 


wil zeggen in een en slechts een) toestand bevinden. De clausen 
{Q[i,0],Q[i,1],...,Q[i,a]} voor alle 0<i<m 


zorgen ervoor dat de NDTM zich op elk moment in minstens één toestand 


bevindt. De clausen 
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{Q[i,i],Q[i,j']} voor alle OS<i<m en 0 


VAN 
VAN 
VAN 
RQR 


verzekeren ons ervan dat die toestand uniek is. 


Unieke koppositie 
Om ervoor te zorgen dat de kop op elk tijdstip een unieke locatie leest 


gebruiken we de clausen 


{H[i,-m+1],H[i,-m+2],...,H[i,m+1]} voor alle 0<i<m 
en 
{H[i,j],H[i,j']} voor alle 0<i<m, -m+1<j<j'<m+1 


Uniek symbool 
De volgende clausen gebruiken we om ervoor te zorgen dat in elke loca- 


tie op elk tijdstip een uniek symbool staat 


{Sli,j,01,SLli,j,1],...,Sli,j,bl} voor alle O<i<m 
en -m+1<j<m+1 
en 
{Sli,j,k],Sli,j,k']} voor alle 0<i<m, -m+1<j <m+1 
en OSk<k'<b 


Initiële configuratie 
Op tijdstip 0 wordt xET* geschreven in de locaties 1,2,...,|x|. 
Alle andere locaties bevatten het lege symbool; de tapekop leest locatie 


l en de huidige toestand is Ap: Vertaald in clausen krijgen we 


{Q[0,0]} 

{H [0,1]} 

{S [0,1,i, 13, {S [0,2,15] }, +-+, {S[0, Jel „i x1} met EE ern agf 
en {S[0,j,0]} voor -m+1<j<0 en [xl <j<m+1 


Eind-acceptatieconfiguratie 

Als geldt dat xEL' dan moet de NDTM op een tijdstip <m de string 
x hebben geaccepteerd en de machine zal zich dan dus in toestand q, 
bevinden. Hier kunnen we voor zorgen door te eisen dat als Q[i,1] 
waar is dat dan ook Q[i+1,1] waar moet zijn. Verder moet ook 


Q[m,1] waar zijn en dus construeren we de volgende clausen 
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{Q[i,1],Q[i+1,1]} voor alle OSis<m 
en 


{Q[m,‚,1]} 


Configuratie-overgangen 
We voeren tenslotte een groep clausen in die ervoor zorgen dat de con- 
figuratie-overgangen volgens de regels van de machine M' verlopen. 
Stel dat de tapekop op tijdstip i locatie j leest, zich in toestand dk 
bevindt en dat het symbool in locatie j gelijk is aan Jh Dit betekent 
dat H[i,j],Q[i,k] en Sl[i,j,ll alle waar moeten zijn. 

Als P(q,,S)) is gedefinieerd dan kunnen we twee gevallen onder- 
scheiden. 


Geval 1. #P(qdk S1) = 1 dus P(q,s) = {CQ jor» Sy ‚X)} voor een 
dki EQ, SEZ en XE {L,0,R}. Als X=L dan willen we dat 
H[i+1,j-1], Q[i+1,k'] en S[i+1,j,l'] waar zijn en we voeren daarom 
de volgende clausen in 

(HIE jl Qlik] Sli j lI H[it1,j-11} 
{H[i‚jl,@li,kl,Sli,j,l1,Qlit1,k']} 
en {Hli‚jl,Qli,k],Sli,j, Ll], S Li+1,1']} 


Als echter X=0 dan vervangen we de eerste claus door 
Hlijl,@li,k1,Sli,j,U1,HLi+1,j1} 

en als X=R door 
Hli,jl,Qli,k1,Sli,j, 1], HLi+l, j +11} 


De andere twee clausen blijven onveranderd. 

Geval 2. #P(qdk S1) 42- dus Pas) E CA jor Syr X) (Ayame Sym Y) 
voor qr, Uj.n EQ, SS EZ en X,Y € {L,0,R}. We hebben voor deze 
gevallen de twee volgende Boole'se variabelen nodig: A ET: K,O) en 


P, li, j,k,ll. Vervolgens introduceren we de clausen 


(HLi‚jl,Qli,kl,Sli,j, LIP, [i,j,k,1],P Li, j,k, 11} 
en 


ATi, @ [ik 1,STE,j, TIP, [i,j k,1], P li, j,k,1]} 
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Op deze wijze zijn we er zeker van dat als HLi,jl, Q@Lli,kl en SLij,ll 
waar zijn dat dan precies een van de literalen P, ijkl}; P) Et A Ag 
waar is. Als P, [i,j,k,l] waar is dan selecteren we C Sir ,X) als 
volgende stap en als P li,j,k,l] waar is dan kiezen we CAjansSjnY). 
De toestandsverondering representeren we door 


(P [ijk 11, Q litt,’ 1} 
en 


PIL jk, UI,Q lil, ke MD) 


Een verandering van symbool wordt gedekt door de clausen 


PL jk, US OMRAN 
en 
PLE, j‚k‚ U, Sli+1,j, 1713 


Tenslotte volgt nog de richting van de stap. Hiervoor gebruiken we 


bte hntnljelj) al Ker 


lI 
© 


of _{P,[ij,k, IT, HLi+1,j 1} als X 


of {Plij,k,Il,Hli+1,j+1)} als X=R 


samen met een analoge claus 


(P_lisjsk,ll,Hlitl,j-1l} als Y=L 
of {P‚lij,k,Il,HLi+1,j 1} als Y=0 
of (PIED IL Altelj+il} als YER 


Hiermee zijn we klaar met geval 2. 

De voor de bovengenoemde twee gevallen geconstrueerde clausen 
verzekeren ons ervan dat er clausen bestaan voor de volgende stap. 
We moeten er echter ook voor zorgen dat het symbool in locatie j niet 
verandert tussen tijdstip i en i+1 als de lees/schrijfkop op tijdstip i 


niet boven locatie j staat. Hiervoor voeren we de volgende claus in 
{Sli,j,l1],H[i,j],S[i+1,j,l]} 


voor alle 0<i<m, -m+1<j<m+1 en OSISD. 
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De constructie van de benodigde clausen is nu gereed. Als xEL' 
dan bestaat er een berekening door machine M' voor de acceptatie van 
x die tijd <m in beslag neemt. Gegeven de interpretatie van de in 
het voorgaande gedefinieerde Boole'se variabelen kent deze berekening 
waarden toe zodanig dat aan alle clausen die we construeerden is vol- 
daan. Het is zelfs zo dat de constructie van de clausen ons ervan ver- 
zekert dat iedere voldoende waardetoekenning overeenkomt met een 
berekening door M' die x accepteert. Hieruit volgt dat aan fj: (20) 

(de verzameling clausen die we uit de string x construeerden) kan 
worden voldaan desd xE€L'. Als u verder het aantal gebruikte Boole'se 
variabelen en het aantal clausen telt (zie oefening 6.6) dan zult u zien 
dat beide aantallen worden begrensd door polynomen in |x|. (Bedenk 
hierbij dat a en b constanten zijn.) Uit dit alles mogen we de gevolg- 
trekking maken dat fizi (x) kan worden berekend door een algoritme 
van polynomiale tijd. We hebben nu dus aangetoond dat er voor elke 

L' ENP een polynomiale transformatie bestaat van L' naar SAT,e. 

SAT is dus NP-compleet. Merk nog op dat we voor het leveren van dit 
bewijs niet precies hoefden te weten hoe de DNTM die L' accepteert 


werkt; we behoefden alleen maar te weten dat zo'n machine bestaat. 


Nu we het bestaan van een NP-compleet probleem hebben aangetoond, 


kunnen we de volgende stelling gebruiken om er veel meer te vinden. 


Stelling 6.7 


Als L NP-compleet is en L, € NP dan volgt uit L «L, dat ook L, 
NP-compleet is. 


Bewijs. Voor iedere L'€NP geldt dat L'e L op grond van de defi- 
nitie van NP-compleetheid. Ook geldt Le L ‚ en op grond van stelling 
6.3 is « transitief. Dus geldt voor elke L'E€NP dat L'e« L, en om- 

dat L E NP is hiermee het bewijs geleverd. 


We hebben nu een strategie voor het formuleren van een hele rij 


NP-complete problemen. Allereerst weten we dat SATE NPC. Verder 
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weten we dat als MENPC en TI r ENP en we kunnen aantonen dat 
Mell, dat hieruit volgt dat T ENPC. Dus om precies te zijn: als 

T ENP en SATe« T> dan moet ook T NP-compleet zijn. SAT is het 
zaadje waaruit alle nu bekende NP-complete problemen zijn voortgeko- 
men. Op dit moment zijn er een paar honderd van dergelijke problemen 
bekend. Een overzicht van de resultaten bekend in 1978 staat in 
Computers and Intractability: A Guide to the Theory of NP-Complete- 
ness (Garey & Johnson, 1978). Sindsdien wordt de lijst regelmatig aan- 
gevuld via een artikelenreeks in het Journal of Algorithms. In de vol- 
gende paragraaf geven we enkele voorbeelden van NP-complete proble- 
men en de bijbehorende bewijzen. Een en ander ter illustratie van het 
soort bewijzen dat wordt gebruikt en van de uiteenlopende aard van 
de problemen in de klasse NPC. Zelfs als we aannemen dat P#NP 

dan moet men nog niet veronderstellen dat elk probleem in NP ofwel 

in P zit ofwel NP-compleet is. Het is zelfs bewezen dat als P#NP, dat 
dan NPI=NP\(PUNPC) een oneindige collectie van verschillende 
equivalentieklassen bevat onder polynomiale equivalentie (zie Ladner, 
1975). Toegegeven moet echter worden dat de grote meerderheid van 
in de praktijk voorkomende problemen inderdaad in P of in NPCliggen. 
De volgende twee problemen liggen misschien in NPI, maar dit is 


slechts een veronderstelling. 


Graaf -isomorfisme 
Gegeven: Twee grafen G ‚en G,. 


Gevraagd: Is G, isomorf met G, ? 


Samengestelde getallen 
Gegeven: Een positief geheel getal k. 
Gevraagd: Bestaan er gehele getallen m en n>1 zodat k = mn? 


Onder bepaalde voorwaarden (bijvoorbeeld bij twee planaire grafen) 
is graaf-isomorfisme in polynomiale tijd oplosbaar. Voor het algemene 
geval is echter geen polynomiaal algoritme bekend. Ook heeft niemand 
nog kunnen aantonen dat het hier om een NP-compleet probleem gaat, 
hoewel van subgraaf-isomorfisme (Is G i isomorf met een subgraaf van 
G,?) wel bekend is dat het een NP-compleet probleem is (zie oefening 
Bil). 
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Als we een deterministisch algoritme zouden kunnen ontwerpen dat 
in polynomiale tijd test of een bepaald getal priem is dan zou het pro- 
bleem samengesteld getal in P liggen. Een dergelijk algoritme voor het 
testen op primaliteit bestaat nog niet, maar er zijn wel verbazend goede 
resultaten bereikt met behulp van een waarschijnlijkheidstheoretische 
aanpak. Het artikel van M. Rabin 'Probabilistic algorithms! (Traub, 
1976), beschrijft een stochastisch algoritme voor het vaststellen van 
primaliteit dat werkt in polynomiale tijd en dat slechts een kleine kans 
heeft op een onjuiste beslissing gegeven een willekeurige input. Stochas- 
tische algoritmen loten in feite welke optie uit een aantal mogelijke op- 
ties gekozen wordt. Het moet dan wel zo zijn dat de meerderheid van 
de mogelijke te volgen paden tot een juist antwoord leidt. Monte-Carlo 
algoritmen stoppen altijd maar hebben een kleine kans op een onjuist 
antwoord. Las Vegas 'algoritmen! geven altijd het juiste antwoord maar 
lopen een kleine kans niet te stoppen. Atlantic City 'algoritmen!' stop- 
pen soms niet en als zij stoppen is er nog een kans dat het antwoord 
niet correct is. De kracht van stochastische algoritmen ligt in het feit 
dat zij kunnen worden herhaald zodat de kans op een fout willekeurig 
klein kan worden gemaakt. Een theoretische behandeling van stochas- 


tische algoritmen wordt gegeven in Gill (1977). 


EEN BLOEMLEZING VAN NP-COMPLETE PROBLEMEN 


Allereerst behandelen we een restrictie van SAT, waarbij alle clausen 
precies drie literalen bevatten. 


3-Vervulbaarheidsprobleem (3SAT) 

Gegeven: Een verzameling U van Boole'se variabelen en een verzame- 
ling C van clausen over U, waarbij elke cE C zodanig is dat #(c)=3 
en dus drie literalen bevat. 

Gevraagd: Bestaat er een waardetoekenning die C vervult? 


Stelling 6.8 


3SAT is NP-compleet. 
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Bewijs. Er geldt 3SATENP omdat we gemakkelijk een willekeurig 
geraden waardetoekenning in polynomiale tijd kunnen controleren. We 
tonen aan dat 3SATENPC door een polynomiale transformatie 
SAT «3SAT aan te geven. 

Zi U= {Uj Uzee u} en: Cs fe». 
van SAT. We construeren nu een instantie f(I) van 3SAT zodanig dat 


(DT EY sar desd als f(I) € YaSAT 
(ii) f is berekenbaar in polynomiale tijd. 


Cm? een instantie I 
en 


Om f(I) te construeren nemen we eenvoudig elke claus cE C en ver- 
vangen die door een gelijkwaardige verzameling van 3-literaal clausen. 
Hiervoor hebben we enkele extra Boole'se variabelen nodig; de Boole'se 
variabelen die worden gebruikt bij de constructie van de clausen die 
overeenkomen met Ci liggen in de verzameling U; ‚ De verzameling U' 
omvat dan alle extra Boole'se variabelen die we op deze wijze toevoegen. 
Stel nu dat cE C. We moeten dan vier gevallen onderscheiden. 
Geval 1. #(c;) = 1. Dus bijvoorbeeld Eeke a 
Dan is U; = luju; h waarbij u; en u; nieuwe Boole'se variabelen zijn. 
We vervangen nu C; door de volgende vier clausen. 


? " TN, p " E R T). 
{x ‚u; ‚U; }, {x „u; ‚uj}, {x ui ‚uj}, X oUi ‚u; li 


Geval 2. #Cc;) = 2, dus bijvoorbeeld c, = {se}. 
Dan is U i = (u; } waarbij u; een nieuwe Boole'se variabele is, 
We vervangen Ci door de volgende twee clausen 


Î 74? 
{x Xa ‚U; F {x ha ‚U; Es 


Geval 3. #(C,) = 3 dus we hoeven niets te doen en U; =ø. 


Geval 4. #(c;,) = k>3, dus qi” CPEE DTEEEEE Ta 
Nu zijn U, = u! |1 <j <k-3} alle nieuwe variabelen. 
We vervangen Ci door de clausen 

1 
{X X,U; } 
= | 2 
(u, „xj, u; } 
-2 2 
{u;, X,U; } 
= H-3 
(u, Ky * 
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Merk op dat een claus in C met k literalen zowel u als u moet bevat- 
ten voor een of andere u€U als k>n. De claus is dan dus triviaal 
vervuld door iedere waardetoekenning en deze kan verder worden 
gegenereerd. We kunnen daarom dus aannemen dat #(c;) <n voor 
1<i<m en zo zijn dus zowel het aantal nieuwe variabelen als het aantal 
clausen dat we hierboven construeerden begrensd door polynomen in 
mn. Dus is f een polynomiale transformatie. 

Stel nu dat t:U>{T,F} een toekenning is van logische waarden 
aan de variabelen van U zodanig dat iedere claus in C vervuld is. 

We kunnen t dan uitbreiden tot een waardetoekenning t:UUU'> {T,F} 
die voldoet aan alle geconstrueerde clausen. Eerst laten we zien hoe 
we t kunnen laten werken op een willekeurige verzameling in U i ‚ Als 
U i werd geconstrueerd zoals in de bovenvermelde gevallen 1, 2 of 3 
dan is elke uitbreiding van t geschikt omdat t zelf al voldoende is. 
Werd U i geconstrueerd zoals in geval 4 dan weten we dat er enige xj, 
ISISK moeten zijn geweest met te) = T. Als l=1 of l=2 dan 
nemen we t (ul) = F voor 1SjSk-3. Is l=k-1 of l=k dan nemen 
we tub) = T voor 1SjSk-3. In alle andere gevallen nemen we 

tul) = T voor 1<j<l-2 en tul) =F voor l-1<j<k-3. We brei- 
den de werking van t dus uit op elk der verzamelingen U j DE a ye ore ai 
m en vinden zo dus een toekenning van logische waarden t:UUU' > 
{T,F} die alle geconstrueerde clausen vervult. Dus I EY AT im- 
pliceert dat f(I)€ Ys AT" Het omgekeerde is veel gemakkelijker te 
bewijzen. Bij elke waardetoekenning die alle geconstrueerde clausen 
vervult kan gemakkelijk worden aangetoond dat de restrictie tot U de 
oorspronkelijke clausen vervult. Dus I EYs AT desd als f(1) € Ys AT" 


Hiermee is het bewijs geleverd. 


Ofschoon 3SAT dus NP-compleet is geldt dit niet voor 2SAT (elke 
claus heeft precies twee literalen) want dit laatste probleem is in poly- 
nomiale tijd oplosbaar (oefening 6.7). Dit is een vrij algemeen verschijn- 
sel: vaak is een probleem ten aanzien van tripels NP-compleet, terwijl 
hetzelfde probleem ten aanzien van paren in P ligt. (Misschien zijn er 
daarom maar twee geslachten!) Een illustratie van dit feit vormt ook 
het volgende probleem, waarvan bekend is dat het NP-compleet is. (Het 


bewijs hiervan tezamen met vele andere bewijzen wordt gegeven in het 
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baanbrekende artikel door R.M. Karp, 'Reducibility among combinatorial 
problems! [Miller & Thatcher, 1972].) 


3-dimensionaal matching (3DM) 

Gegeven: Een verzameling McXxYxZ waarbij X, Y en Z disjuncte 
verzamelingen zijn met elk n elementen. 

Gevraagd: Bevat M een matching, dat wil zeggen een deelverzameling 
M'cM zodanig dat |M'| =n en zo dat de coördinaten van de elemen- 


ten van M' stuk voor stuk onderling verschillend zijn? 


Bijvoorbeeld als X = [XX }, yY s {yy} en Zie {ZZ} dan 


bevat 


ECX YZ), 
(NZ) 
(XYZ) 
(sy, 22} 


een matching, namelijk (x 1Y22) en X,Y] Z3)» maar bijvoorbeeld 
CCX YZ) XYZ) CHER ENDE, bevat er geen. 

Het overeenkomstige 2-dimensionale matching probleem ligt in P (zie 
Hopcroft & Karp, 1973). 

De rest van deze paragraaf zullen we besteden aan het aantonen 
van de NP-compleetheid van het Hamilton circuit probleem, (HC). We 
zagen al dat HC «TSP en dat TSPENP. Een gevolg van ons bewijs 
zal dus zijn dat ook TSP NP-compleet is. Om aan te tonen dat 
HCENPC is behoeven we alleen maar te laten zien dat HCENP en 
vervolgens moeten we een NP-compleet probleem T vinden zodanig dat 
«HC. Hiervoor kunnen we elke TENPC gebruiken; op grond van 
de theorie weten we dat als HCENPC er altijd een transformatie 
bestaat. De grote kunst bij dit soort bewijzen is een bekend NP-com- 
pleet probleem te kiezen dat het te leveren bewijs zo eenvoudig mogelijk 
maakt. We zullen een indirect bewijs geven via een probleem dat bekend 


staat als het knopenoverdekkingsprobleem (Engels: Vertex cover). 
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Knopenoverdekking (VC) 

Gegeven: Een graaf met knopenverzameling V en kantenverzameling 
E en een positief geheel getal bS#(V). 

Gevraagd: Bestaat er een knopenoverdekking met omvang kleiner of 
gelijk b voor G? Dat wil zeggen bestaat er een deelverzameling V'c V 
zodanig dat #(V')S<b en zo dat voor elke kant Dee in V 


geldt dat minstens een der knopen u en v tot V’ behoort? 


We zullen laten zien dat 3SAT« VC en dat VC e&HC. Naarmate het 
bestand van bekende NP-complete problemen groeit, worden bewijzen 
gemakkelijker omdat de kans toeneemt dat men een bekend probleem 
TENPC kan vinden dat gemakkelijk door middel van een polynomiale 
transformatie naar het beschouwde probleem kan worden omgezet. Voor 
onderzoekers op dit gebied is het dus van belang op de hoogte te blij- 
ven van de nieuwste ontwikkelingen. In dit boek geven we slechts een 
eerste idee van het soort bewijzen dat wordt gebruikt en van de resul- 


taten die tot nu toe zijn bereikt. 


Stelling 6.9 


VC is NP-compleet. 


Bewijs. Omdat we alleen maar naar een deelverzameling van V met om- 
vang b hoeven te raden en vervolgens kunnen controleren of van elke 
kant in E minstens een der knopen in deze deelverzameling ligt, geldt 
VC ENP. Het genereren van de deelverzameling en de controle kunnen 
gemakkelijk in polynomiale tijd worden uitgevoerd. 

We geven nu een polynomiale transformatie om te bewijzen dat 
VCENPC. Stel dat I een instantie van 3SAT is die bestaat uit de 


verzameling Boole'se variabelen U = {u,‚ ‚u eUn? en uit de verza- 


v o A i 


meling C = {e, >C Cm? van clausen van drie literalen. Uit I moe- 


PEEN, 
ten we nu een functie f(I) construeren die leidt tot een graaf G en 

een grens b, zodanig dat f(I)€ Yyc dus zo dat G een knopenover- 
dekking <b bezit desd als I EYsar: 


aantonen dat deze constructie in polynomiale tijd kan worden uitgele- 


Daarbij moeten we dan ook nog 


voerd. 
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Voor elke uE U construeren we twee knopen u; en Uj» onderling 
verbonden door een enkele kant, &)t) 

Elke claus c,€C gaat over in drie knooppunten c; Cj Cj3 
ling verbonden zoals in figuur 6.4 is weergegeven. Als nu bijvoorbeeld 


, onder- 


cj = {x,y,z}, waarbij x, y en z literalen voorstellen, dan verbinden 


we knoop Cit met x, Ci? met y en Ci3 met z. 


Op deze manier construeren we een graaf die overeenkomt met I. 
In figuur 6.5 hebben we bijvoorbeeld de graaf weergegeven die over- 
eenkomt met een 3SAT probleem dat bestaat uit U = {u,‚u ‚u, ‚u j3 


en C= [u Upu} {uj U, U}, {u,‚ug,u, }h De grens b is dan gelijk 


aan n+2m. 


Figuur 6.4 


KA 3 | 


Figuur 6.5 
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Stel nu dat er een voldoende waardetoekenning t:U> {T,F} voor I 
bestaat. We kunnen dan als volgt een knopenoverdekking met omvang 
n+2m voor G selecteren. Kies voor elke u;EU, u; als t(u) =T en 
kies u; als t(u) = F, (zo krijgen we n knopen). Omdat nu C vervuld 
wordt door de waarden die t aan de logische variabelen toekent, moet 


voor elke Ci EC een der knopen c verbonden zijn met een 


ERS EE 
geselecteerde knoop. We nemen ERa de aile twee knopen ook in 
de overdekking op en krijgen zo een overdekking met omvang n+2m. 
Hiermee hebben we aangetoond dat IE Ys AT ° SU DE Yyc: 
Nu het bewijs in omgekeerde richting. Neem hiervoor een willekeu- 

rige knopenoverdekking met omvang b<n+2m. Omdat er steeds een 
directe verbinding bestaat tussen u; en u, voor elke u, € U, moet deze 
knopenoverdekking minstens één van deze twee knopen bevatten. Net 


zo geldt omdat c in een driehoek liggen dat minstens twee 


or On 
van deze knopen in de ekain moeten zitten. Dit betekent dat 
elke overdekking minstens uit n+2m knopen bestaat en een overdek- 
king met hoogstens n+2m knopen bevat er dus precies n+2m en 
bevat dan precies één knoop uit elk paar Uu, We definiëren nu een 
waardetoekenning door t(u) = T als u; in de overdekking zit en door 
t(u) = F als dat niet het geval is. Deze toekenning is voldoende voor 
elke claus c,€C. Immers slechts twee van de knopen C;1°Cj2Cj3 zit- 
ten in de overdekking en een daarvan moet dus een kant hebben naar 
een geselecteerde u, of Te Onder t is dus iedere c} vervuld en dus 
geldt f(I) EYyc >I EYSAT: 


Nu we hebben aangetoond dat IEY desd als f(I)€ Yy hoe- 


SAT C 
ven we alleen nog maar op te merken dat de constructie duidelijk in 


polynomiale tijd kan worden uitgevoerd en hiermee is het bewijs gereed. 


Stelling 6.10 


HC (en dus ook TSP) is NP-compleet. 


Bewijs. HCENP omdat men met behulp van een nondeterministisch 
algoritme alleen maar een of andere permutatie van de n knopen 
Vol VeC2 tr" Von) Ven de gegeven graaf behoeft te raden en ver- 
volgens in polynomiale tijd kan checken of er een in zichzelf terug- 
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kerend pad (een cykel) Voi) = Vo(2) EPE rd Viin) = VIG) in de 
graaf voorkomt. 

Om aan te tonen dat HCENPC construeren we een polynomiale 
transformatie VC «HC. Zij I, bestaande uit een graaf G met knopen V 
en kanten E te zamen met een grens b #(V), een instantie van VC. 
We moeten nu een instantie f(I) van HC construeren, zodanig dat 
I EYyc desd als f(I) € Yic: f(I) zal bestaan uit een graaf G' die 
we als volgt uit G construeren. 


Om te beginnen voorzien we de graaf G' van b knopen ww w 


gees 
die we zullen gebruiken om b knopen uit de knopenverzameling V te 


b 


kiezen. Voor elke kant eE€E bestaat er nu een subgraaf Ge van G' 
zodanig dat we er zeker van zijn dat minstens één van de twee eind- 
punten van de kant e voorkomt onder de b geselecteerde knopen. Ver- 
onderstel dat e samenvalt met de kant tussen de knopen u en v EV dan 
construeren we Go zo dat in deze graaf 12 knopen ul eh aw Dey, 
i = 1,2,...,6 voorkomen die onderling door 14 kanten zijn verbonden 
zoals in figuur 6.6 is aangegeven. De knopen (ut? e), ui? e), 


vi) (6) ‚e) heten de hoekknopen van de subgraaf en alleen deze 


‚e ) (v 
knopen zullen we verbinden met andere stukken van de graaf G'. 
Ieder Hamiltoncircuit binnen G' dient dan een van de configuraties uit 


figuur 6.7 te bevatten. 


(u'"‚e) (vie) 
(u'e) (v,e) 
(ue) (vi?e) 
(u'®,e) (v®,e) 
(u,e) (v,e) 
(u'“‚e) (vee) 


Figuur 6.6 G', de subgraaf van G' die behoort bij 
de kant e tussen u en v 
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(ue) — (v'e) (u',e) (ve) (ue) (‚el 
`a “s AT. o” 
o? of ~a ~a 
(u®,e) (v®,e) (u'“‚e) (vee) (u'“‚e) (vee) 


(a) (b) (c) 


Figuur 6.7 De kanten die in een Hamiltoncircuit voorkomen 


Als nu voor elke vEV, d = graad(v) dan is v het eindpunt van 


d kanten. Stel dat TER ie een aftelling van die kan- 


bew 
VIA Mad 
ten voorstelt. We verbinden nu de subgrafen die bij deze kanten beho- 
ren onderling door de volgende kanten in te voeren: 


NG, 


‚€ 


(1) (1) (1) 
(v erp era (v ez 


vl 1] 
vO er pe gap Deze verzameling kanten, die we E; 
zullen noemen, zorgt ervoor dat er voor elke vEV in G' één enkel 
pad bestaat door alle knopen wie) MRE K SS 1,80. ON "BEL. 
We voltooien nu de constructie van G' door de eerste en laatste 
knopen van elk van deze paden te verbinden met elk van de knopen 


WjsWjseees Ws In figuur 6.9 is zo'n graaf G' getekend, die werd 


b 
geconstrueerd uit de graaf G in figuur 6.8 met b= 2. Duidelijk is 

weer dat G' uit G in polynomiale tijd kan worden geconstrueerd en we 
beweren dat G' een Hamiltoncircuit bevat desd als G een knopenover- 


dekking met omvang b bezit. 


Figuur 6.8 De graaf G 
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Stel dat V' een knopenoverdekking van G is met #(V') = b. Deze 
laatste veronderstelling mogen we maken omdat we altijd extra knopen 
aan de overdekking mogen toevoegen; het blijft dan een overdekking. 


A i 
Stel dat V' bestaat uit Vor Vig" er Vie ri 


d.i (1<i<b). Neem nu voor elke kant eE€E tussen u en v kanten 


van Ge op zoals aangegeven in figuur 6.7(a), (b) of (c), afhankelijk 


en noem de graad van v 


van de vraag of {u,v}E€V' gelijk is aan {u}, {u,v} of {v}. Vervol- 
gens nemen we de kanten uit E, UE! Ms UE), in het circuit 


| vig 
op en verder ook alle kanten tussen w, en we) ) (1Sis<b) 
i Ài Vi [1] 


1<i<b). Tenslotte nemen we de 


‚€ 


(6) 
tussen W, en (vii & 


1+1 Evi idy)? ( 


kant tussen w, en (v 7? op. Het is niet moeilijk na te 
b 


ib TR 
gaan dat deze kanten altijd een Hamiltoncircuit vormen. In figuur 6.9 
hebben we ze aangegeven onder de veronderstelling dat een overdek- 
king met omvang 2 de knopen ViVe bevat. 

Veronderstel nu omgekeerd dat G' een Hamiltoncircuit bevat en 
beschouw het gedeelte dat bij wi begint en bij w, eindigt voor 1<i, 
j<Sb, zodanig dat geen enkele andere knoop van het type w in het pad 


voorkomt. De eerste knoop op dit pad na w; moet (vtt) 


‚e) of 
wee) zijn voor een vEV en een eE€E. Bekijk nu nog eens 
figuur 6.7 en de manier waarop we daarin de subgrafen, die met kan- 
ten uit de oorspronkelijke graaf corresponderen, onderling verbonden. 
We zien dat elke knoop op het pad naar w, als tweede component een 
kant moet bevatten die v als eindpunt heeft. Het Hamiltoncircuit kan 
nu in b gedeelten worden onderverdeeld die bestaan uit de paden van 
Wii naar wp van w p naar w z»... en van Wp Raar w q voor een of 
andere permutatie ui,u2,...,ub van de w-knopen. In geen van deze 
gedeelten liggen tussenliggende w-knopen en elk deel bepaalt dus een 
vEV. Te zamen moeten deze b knopen een overdekking van V vormen 
omdat immers elke kant e€E uitkomt op een vEV. Hiermee is het 


bewijs van stelling 6.10 geleverd. 


Nu we weten dat het beslissingsprobleem TSP NP-compleet is moeten 
we concluderen dat we het niet in polynomiale tijd zullen kunnen oplos- 
sen, tenzij P = NP. We zijn er vrij zeker van dat P # NP en dus 


zullen er vrij zeker gevallen van TSP zijn die niet in polynomiale tijd 
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kunnen worden opgelost. Ditzelfde geldt voor het oorspronkelijke han- 
delsreizigersprobleem dat als een optimaliseringsprobleem werd geformu- 
leerd, want anders zouden we het beslissingsprobleem kunnen oplossen 
door de kortst mogelijke route te bepalen en vervolgens te kijken of 
die kleiner is dan b. Willen we grote handelsreizigersproblemen in de 
praktijk oplossen dan hebben we een of andere heuristiek nodig. Een 
heuristiek is een soort vuistregel waarvan men intuitief aanvoelt dat 

hij tot een aanvaardbare oplossing zal leiden. Een heel eenvoudige heu- 
ristiek voor het handelsreizigersprobleem is bijvoorbeeld: bezoek altijd 
als volgende stad de dichtstbijzijnde nog niet bezochte stad. We zullen 
deze heuristiek de 'naaste-buurman-heuristiek!' noemen. 

Iemand die heuristieken ontwerpt zal zoeken naar een methode die 
altijd oplossingen vindt in polynomiale tijd, waarbij de afwijking van de 
optimale oplossing binnen een aanvaardbare marge blijft. Als H een 
heuristiek is en H(I) een oplossing volgens deze heuristiek voor een 
instantie I van een probleem M, als verder OPT(I) de optimale oplos- 


sing voorstelt dan zou voor een minimalisatieprobleem moeten gelden: 
H(I) saOPT(I) + B waarbij & en B constanten voorstellen. 


Een goede heuristiek heeft een a in de buurt van 1 en een B in de 
buurt van 0. Als m het handelsreizigersprobleem voorstelt en NN is 
naaste-buurman (Engels: Nearest Neighbour) heuristiek dan kan men 
aantonen, onder veronderstelling van de driehoeksongelijkheid 
d..S<d, dij voor alle 1<i,j,k<n, dat 


NN(I) <$([log‚n |+ DOPT(I) 


als n het aantal steden is. Voor willekeurig grote n bestaan er nu pro- 


blemen met 
NN(I) > $log ,;(n+1) + z)OPT(I) 
Al te best is de naaste-buurman methode dus niet! 


De prestatieverhouding van een heuristiek H toegepast op een pro- 


bleeminstantie I van een minimaliseringsprobleem M, is gedefinieerd als 
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go) 
Ry = SPT 


en de absolute prestatieverhouding, ry van H voor M is 


Ry = inf{r>1|RG(I) <r voor alle instanties I van T} 


De asymptotische prestatieverhouding, Ri van H voor T is 
Ri = inf{r>1|voor een b EZ RGO Sr voor alle instanties I 
van T die voldoen aan OPT(I)2b} 


Zowel de absolute als de asymptotische prestatieverhouding wordt 
gebruikt voor de analyse van de prestaties van heuristieke algoritmen. 
Hoe dichter bij 1 deze verhoudingen liggen des te beter is het algo- 
ritme. Voor NN geldt RNN 


sterk af te raden heuristiek. Gelukkig bestaan er betere heuristieken 


= REN = œ; het gaat hier dus om een 


voor het handelsreizigersprobleem, maar als niet is voldaan aan de 
driehoeksongelijkheid dan is een goede heuristiek niet waarschijnlijk 
omdat is aangetoond dat uit de veronderstelling P#NP volgt dat er 
geen heuristiek H is die het handelsreizigersprobleem in polynomiale 
tijd oplost met een asymptotische prestatieverhouding Ri <œ. Het is 
daarom verstandiger als we ons concentreren op het ontwerp van algo- 
ritmen die handelsreizigersproblemen meestal bevredigend oplossen, 
maar die een kleine kans hebben op een zeer slecht resultaat. 

Voor een algemenere verhandeling over het ontwerp en de analyse 
van heuristieke algoritmen verwijzen we de lezer naar hoofdstuk 12 van 
Horowitz & Sahni (1978). Zie voor onderzoeksresultaten met betrekking 
tot het handelsreizigersprobleem het verzamelwerk The Travelling Sales- 
man Problem (Lawler et al., 1984). 


NUMERIEKE PROBLEMEN EN PSEUDO-POLYNOMIALE ALGORITMEN 


In deze paragraaf bekijken we opnieuw de restricties die kunnen wor- 
den geformuleerd ten aanzien van coderingen van probleemvoorkomens. 


We zorgden er steeds nadrukkelijk voor dat de coderingen van getallen 
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die in een bepaald probleem voorkwamen werden uitgevoerd in de bin- 
aire notatie (of octaal, of decimaal, enzovoort, maar niet unair). Laten 
we nu eens beslissingsproblemen bekijken die geheel of gedeeltelijk 
worden beschreven door getallen die alle mogelijke geheeltallige waarden 
kunnen aannemen. Dergelijke problemen noemen wij numerieke proble- 
men. TSP bijvoorbeeld valt in deze categorie omdat we geen beperkin- 
gen hebben opgelegd aan de lengte van de afstanden tussen de steden. 
= Als mE€Z een deel is van een instantie I van een numeriek probleem 
m dan zorgen de restricties die we hebben opgelegd aan de codering e 
ervoor dat de substring van e(I) die m codeert een lengte O(log m) 
heeft. 

Alle definities in dit hoofdstuk hebben we geformuleerd in termen 
van lengte(e(I)). Als we ons maar houden aan de restricties die we 
aan coderingen oplegden, dan doet het er niet echt toe welke codering 
we gebruiken. Als e en e! twee geschikte, beknopte coderingen zijn 
dan zijn lengte(e(I)) en lengte(e! (I)) polynomiaal gerelateerd, dat wil 


zeggen er bestaan polynomen p en p' zodanig dat 


lengte(e(I)) Sp(lengte(e! (I)) 
en lengte(e! (I)) <p'(lengte(e(1I)) 


voor iedere I ED: Als lengte(I) voor een codering e, lengte(e{I)) 
voorstelt dan weten we dat MEP dan en slechts dan geldt als er een 
algoritme bestaat dat de oplossing vindt van elk voorkomen I ED. 
met een tijdcomplexiteit van de orde Odlengte (1) voor een of an- 
dere constante k20. Komen er echter getallen in het probleem voor 
en laten we ook unaire coderingen toe dan is deze bewering niet langer 
waar. Als we een getal m in binaire notatie weergeven dan is daarvoor 
een string met lengte log „(m) +1 nodig, maar in unaire notatie is de 
stringlengte m. De functies m en log‚(m) zijn niet polynomiaal gere- 
lateerd: een functie die geen constante is en die polynomiaal in m is, 
is exponentieel in log,(m). 

Stel dat MT een willekeurig beslissingsprobleem is en geef het groot- 
ste getal dat in alle gegeven instanties I van M voorkomt aan met 
max(I). Komen er geen getallen in I voor, geef max(l) dan de waar- 
de 0. We definiëren een numeriek probleem nu formeel als ieder beslis- 


singsprobleem TM zodanig dat er geen polynomiale functie p bestaat met 
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Een algoritme van pseudo-polynomiale tijd voor M is een algoritme dat T 
oplost en dat een tijdcomplexiteit heeft die van boven wordt begrensd 
door een polynomiale functie van de twee variabelen lengte(l) en 
max(l). Alle algoritmen van polynomiale tijd zijn dus algoritmen van 
pseudo-polynomiale tijd omdat hun tijdfuncties immers van boven worden 
begrensd door een polynomiale functie van precies lengte(l). Het ziet 
ernaar uit dat het omgekeerde niet waar is en dat we dus misschien 
algoritmen van pseudo-polynomiale tijd kunnen vinden die NP-complete 
problemen oplossen. Dit is inderdaad het geval: een bekend voorbeeld 


is 


Partitie 


Gegeven: Een verzameling A = ta, „a a? van n elementen en 


ag . oè 
: dee + 
een wegingsfunctie w:A>Z . 
Gevraagd: Kunnen we A partitioneren in twee deelverzamelingen van 


gelijk gewicht. Dat wil zeggen bestaat er een A'c A zodanig dat 


2 wijs > w(a)? 


aEA' a E A\A' 
Het pseudo-polynomiale algoritme dat dit probleem oplost werkt als volgt. 
Noem som = 2}, w(a). Als de waarde som niet even is dan is duidelijk 
aE A 


dat het antwoord nee is: noem anders h = som/2. Construeer nu een 
matrix van Boole'se waarden, M[i,j] met 1<i<n en 0<j<h, zodanig 
dat M[i,j] = T dan en slechts dan als er een deelverzameling van 


{a ee „a,} bestaat met een gewicht van precies j. Deze waarden 


Be nu rij voor rij in de matrix m worden geplaatst. Merk ten eer- 
ste op dat M[1,j] = T desd als ofwel j=0 ofwel j=w(a,). Elke 
volgende rij wordt nu berekend door gebruik te maken van de waarden 
uit de vorige rij en van het feit dat voor 1<i<n, 0<j<h, M[i,j]=T 
desd als ofwel M[i-1,j] =`T ofwel j>w(a,) en Mli-1,j-w(a, )] = T. 
Wanneer de hele matrix M op deze wijze is gevuld dan kan het partitie- 
probleem worden opgelost: het antwoord is 'ja' dan en slechts dan als 
M[n,h] = T. Eenvoudig kan worden aangetoond dat de tijdcomplexiteit 


van dit algoritme polynomiaal in nh is (zie oefening 6.14). Omdat het 
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partitieprobleem NP-compleet is zullen we geen algoritme kunnen vinden 
met een tijdeomplexiteitsfunctie die polynomiaal is in nlog;h. 

Als gegeven is een beslissingprobleem T en een polynoom p over de 
gehele getallen, dan definiëren we M als het deelprobleem van TM dat 
die instanties I van M bevat waarvoor geldt dat max(l)Sp(lengte(l)). 
We noemen een beslissingsprobleem T NP-compleet in strenge zin dan en 
slechts dan als (i) TENP en (ii) er een polynoom p bestaat zodanig 
dat T5 E NPC. 


Stelling 6.11 


(1) Uit m is NP-compleet en 1 is geen numeriek probleem volgt dat TI 


NP-compleet is in strenge zin. 


(2) Uit m is NP-compleet in strenge zin volgt dat m niet oplosbaar is 
met behulp van een pseudopolynomiaal algoritme, tenzij geldt dat 
P = NP. 


Bewijs. (1) volgt onmiddellijk uit de definities. 

(2) Stel dat TENP en dat er een p bestaat zodanig dat ne NPC. 
We zullen aantonen dat ne P als T oplosbaar is door middel van een 
algoritme van polynomiale tijd. Ons algoritme neemt een willekeurige 
inputstring x en gaat na of x een instantie I van M codeert zodanig 
dat max(I)S p(lengte(I)). We mogen veronderstellen dat de functies 
max en lengte in polynomiale tijd kunnen worden berekend en dus dat 
de ongelijkheid in polynomiale tijd kan worden gecontroleerd. Is het 
antwoord 'ja' dan passen we ons algoritme van pseudopolynomiale tijd 
voor TI op I toe. Omdat max(I) < p(lengte(I)) is dit pseudopolynomiale 
algoritme polynomiaal in lengte(I). Dus geldt ns P. Maar ook geldt 
ne NPC en hieruit volgt het te bewijzen. 


Uit deze stelling volgt onmiddellijk dat het partitieprobleem niet NP- 
compleet is in strenge zin. Er bestaan echter wel numerieke problemen 
in NPC die NP-compleet zijn in strenge zin. Een voorbeeld is TSP. We 
bewezen dat TSP NP-compleet is door een polynomiale transformatie 


HC «TSP te beschrijven, maar de constructie was zodanig dat in elk 
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voorkomen van TSP al afstanden ter lengte 1 of 2 voorkomen. Hieruit 
blijkt dat een restrictie van TSP tot gevallen waarin alle afstanden <2 
zijn nog steeds NP-compleet is en dus is TSP NP-compleet in strenge 


zin. 


AANVULLENDE PROBLEMEN 


Als T een beslissingsprobleem is dan is de vraagstelling van de alge- 

mene vorm: ‘is, gegeven een instantie I. een bepaalde voorwaarde B 
waar voor [?', Het complement van TI, meestal aangegeven door ni, is 

identiek aan T, behalve dan dat de gestelde vraag is of de voorwaarde 
B onwaar is voor I. n° heeft dus als domein Den Yoc = Do \Y: Zo 

is bijvoorbeeld het complement van: 


Samengesteld getal 
Gegeven: Een positief geheel getal k. 
Gevraagd: Bestaan er gehele getallen m en n zodat k=mn? 


Priem 

Gegeven: Een positief geheel getal k. 

Gevraagd: Bestaan er geen gehele getallen men n>1l zodat k=mn. 
Dat wil zeggen is k priem? 


Als TEP dan is duidelijk TeP. Gegeven een deterministische 
Turingmachine M die Tl oplost, kunnen we gemakkelijk een DTM, M° 
construeren die Ti oplost, (zie oefening 6.15). M accepteert dus x 
desd als MÊ x afwijst. De constructie die in de opgave wordt 
beschreven werkt omdat M deterministisch is en dus na elke input stopt. 
Het bewijs kan niet worden uitgebreid naar nondeterministische algorit- 
men. 

Definiëren we co-P = {nÎ|mne P} of op taalniveau co-P = (TP \LIL 


is een taal over T en LEP} dan hebben we bewezen: 
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Stelling 6.12 


co-P = P. 


Laten we nu eens een NP-compleet probleem nemen, bijvoorbeeld TSP. 
Het complement van TSP is Tsp£. 
Tsp° 


Gegeven: Een verzameling C = tc, „ce Ch? van n steden met 


voor elk paar Eje; €C een afstand d; €Z en een grens b dr, 
Gevraagd: Is het onmogelijk voor een handelsreiziger in stad c, om 
alle steden in {c,, kei Cn? precies een keer te bezoeken en terug te 
keren in c, met een totaal afgelegde afstand <b, dat wil zeggen kosten 


1 
alle rondreizen meer dan b? 


Het ziet er niet naar uit dat er een gemakkelijke manier bestaat om 
te bepalen of er 'ja' kan worden gezegd op TSP, zelfs niet. door mid- 
del van intelligent raden. Er zit niets anders op dan alle rondreizen, 
of tenminste een zeer groot aantal, te onderzoeken. Het is dus niet 
waarschijnlijk dat TSPÎ in polynomiale tijd kan worden opgelost, zelfs 
niet met een nondeterministische Turingmachine. 

Als we dus definiëren co-P = u [n ENP} of op taalniveau co-P = 
{T*|L\L is een taal over T en LENP} dan kunnen we op grond van 
het voorgaande veronderstellen dat NP # co-NP. Eerder stelden we 
dat NP £ P en op die veronderstelling was onze hele theorie geba- 
seerd. Deze nieuwe veronderstelling is in zekere zin nog sterker want 
NP #co-NP en P = NP kan niet tegelijkertijd gelden. Dit zou leiden 
tot een onmiddellijke tegenspraak met stelling 6.12. Misschien zou wel 
kunnen gelden dat P + NP, hoewel NP = co-NP, maar erg waarschijn- 
lijk is dit niet. 

Als we nu co-NPC definiëren, dan volgen uit de volgende stelling 
een paar belangrijke eigenschappen. Zij zijn schematisch weergegeven 
in figuur 6.10 onder de veronderstelling dat P + NP en NP # co-NP 
beide gelden. 
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Figuur 6. 10 


Stelling 6.13 


(1) Ps(NPnNeco-NP). 
(2) Uit NP # co-NP volgt NPCE(NP\eo-NP) en ook co-NPC c (co- 
NP\NP). 


Bewijs 
(1) PeNP en P = co-Pcco-NP en hieruit volgt het te bewijzen. 
(2) We zullen bewijzen dat NPC c (NP \co-NP). Het tweede deel van 
het bewijs volgt dan uit symmetrie-overwegingen. Per definitie geldt 
NPCENP en we moeten dus aantonen dat er geen enkel probleem in 
NPC voorkomt dat ook in co-NP ligt. Laten we eens veronderstellen dat 
er wel een dergelijk probleem bestaat en noem het M. We zullen zien 
dat deze veronderstelling tot een logische tegenspraak leidt. Als T 


1 


een willekeurig probleem is in NP dan geldt m ‚sm omdat TENPC. 


Het is dan eenvoudig aan te tonen dat ook ns ETI. Omdat nu TEco-NP 
en TS ENP en omdat nj «T° moet gelden dat nje NP. We hebben nu 
dus bewezen dat co-NPS&NP. Dus is NP = co-(co-NP)cco-NP en dus 


is NP = co-NP en dit is de gezochte tegenspraak. 


We zagen dat het probleem Samengesteld getal in NP ligt en we stel- 
den dat waarschijnlijk is dat het in NPI = NP\(NPCUP) ligt. Het com- 
plement van dit probleem Priem ligt ook in NP en dit sterkt ons in het 
vermoeden dat Samengesteld getal niet in NPC ligt. Als dat wel zo was 
dan hadden we immers bewezen dat NP = co-NP. Natuurlijk is het nog 
steeds mogelijk dat Samengesteld getal in P ligt. Men blijft zoeken naar 
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een bewijs of een bewijs van het tegendeel. Omdat verscheidene code- 
ringssystemen voor het beveiligen van gegevens berusten op het in 


priemfactoren ontbinden van getallen is dit onderzoek niet zonder zin. 


DE POLYNOMIALE HIERARCHIE 


Stel dat TT een beslissingsprobleem is en stel dat we een methode hebben 
ontwikkeld om het op te lossen. Iemand die deze methode gebruikt hoeft 


alleen maar een instantie IED van het probleem als input te geven 


Î 
en als resultaat volgt een 0 of idh 1, afhankelijk van het antwoord op 
de vraag of IE Yr: Het hoeft de gebruiker van de methode niet te 
interesseren hoe deze werkt, zolang: maar altijd het juiste resultaat 
wordt opgeleverd. Laten we nu verder veronderstellen dat het toepas- 
sen van de methode altijd maar een enkele tijdseenheid kost, hoe moei- 
lijk TT’ ook is en hoe veel tijd het ook kost om het probleem op te lossen. 
Zo'n methode zullen we een Orakel noemen. 

Een probleem M heet NP-gemakkelijk als het in polynomiale tijd kan 
worden opgelost door een deterministisch algoritme dat gebruik kan 
maken van een orakel dat een of ander probleem in NP oplost. Elk pro- 
bleem in NP is NP-gemakkelijk - we hoeven onszelf maar van een orakel 
te voorzien om het op te lossen. Als TIENP dan kan een orakel dat 
T oplost ook worden gebruikt voor het ontwerpen van een triviaal algo- 
ritme voor het oplossen van n° en dus is elk probleem in co-NP ook 
NP-gemakkelijk. 


Als X een willekeurige klasse van problemen is dan definiëren we 


p” = {Tm kan in polynomiale tijd worden opgelost door een 
deterministisch algoritme dat toegang heeft tot een 
orakel dat een probleem T'E€ X oplost}. 

De NP-gemakkelijke problemen zijn dan juist de problemen in pN i Eer- 
der toonden we aan dat per ƏNP U co-NP en onder de voorwaarde dat 
NP # co-NP is hier sprake van een echte deelverzameling. 

Na de definitie van pX is een logische volgende stap de definitie 


van NPŠ. 
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NPNP 


Figuur 6.11 


NP” = {T|M kan in polynomiale tijd worden opgelost door een 
nondeterministisch algoritme dat toegang heeft tot 
een orakel dat een probleem T'E€ X oplost}. 

Dan geldt NP aS pE ƏNP Uco-NP zoals in figuur 6.11 schematisch is 
weergegeven. We vermeldden al dat het waarschijnlijk is dat de tweede 
deelverzameling echt is en er zijn goede redenen om dit ook van de 
eerste te veronderstellen. 

Behalve NP-gemakkelijke problemen kennen we ook NP-moeilijke pro- 
blemen. Een probleem T is NP-moeilijk als er een NP-compleet probleem 
TM’ bestaat dat zou kunnen worden opgelost door een deterministisch 
algoritme van polynomiale tijd als dit de beschikking heeft over een 
orakel dat TI oplost. Uit deze definitie volgt onmiddellijk dat een beslis- 
singsprobleem niet NP-moeilijk kan zijn en tegelijkertijd in P kan liggen, 
tenzij P = NP. Een voorbeeld van een probleem dat NP-moeilijk is en 
niet NP-gemakkelijk lijkt te zijn is het volgende. 


Minimale equivalente expressie (MEE) 

Gegeven: Een correcte logische expressie E, waarin literalen voorko- 
men over een eindige verzameling van variabelen, constanten, de waar- 
den T (true=waar) en F (false=onwaar), de logische operatoren a (en), 


v (of), ~ (niet) en > (impliceert) en een kes. 
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Gevraagd: Bestaat er een correcte logische expressie E' die <k litera- 


len bevat en die logisch equivalent is met E? 


Het bewijs dat MEE NP-moeilijk is laten we als oefening aan de lezer 
over (zie oefening 6.16). 

Hoewel niemand nog heeft kunnen aantonen dat MEE in pre is en 
hoewel algemeen wordt verondersteld dat dit niet zo is, komt het wel in 
NP\P voor. We bewijzen dit door het orakel een methode te geven die 
SAT oplost. Het nondeterministische algoritme dat MEE oplost raadt dan 
een expressie E' met <k literalen en gebruikt vervolgens het orakel om 
na te gaan of aan ~((EsẸE')a(E'sE)) voldaan kan worden. Als dat 
niet zo is dan moet het gegeven probleem in Y MEE liggen. 

De hiërarchie uit figuur 6.9 is als volgt gegeneraliseerd naar een 


niet eindige hiërarchie. 
L AP 
A O To Ap P 


en voor alle k<0 


k+ 7 prk 
Ei 7 werk 
Dus geldt: 
AP = PP = P, zP = NPP = NP, n? = co-NP 


co-N pNP , enzovoort. 


æ 
uI 
u 


P -nP nsP PP -nP 
Men kan aantonen dat voor elke k Ak Ek A Èk en Tk Uzi, 
zoals weergegeven in figuur 6.12. Deze hele hiërarchie van complexi- 


teitsklassen wordt de polynomiale hiërarchie genoemd. De verzameling 


oo 
U, Ek 


1Žk vertegenwoordigt alle problemen uit deze hiërarchie. Zie 


PH = 
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Stockmeyer (1976) voor een verdere behandeling. In Garey & Johnson 
(1978) wordt de orakel Turingmachine behandeld en worden de ideeën 


waarvan we hier een overzicht gaven verder uitgewerkt en geformuleerd. 


APk+1 


Ne 


Figuur 6.12 


RUIMTEBEPERKINGEN 


Tot dusverre hielden we ons in dit hoofdstuk alleen bezig met beper- 
kingen ten aanzien van de beschikbare rekentijd. Ook computergeheugen 
is echter beperkt beschikbaar en in praktische situaties kan deze beper- 
king zich wel eens sterker doen gelden dan de beperking in rekentijd. 
We noemen de hoeveelheid computergeheugen die nodig is om een algo- 
ritme uit te voeren de ruimtebehoefte van dit algoritme. Voor een 
Turingmachine is de ruimtebehoefte eenvoudig het aantal verschillende 
locaties op de tape die door de lees/schrijfkop zijn gelezen of beschre- 
ven. Het aantal verschillende bezochte locaties kan nooit groter zijn 

dan de rekentijd die voor het algoritme nodig was en dus moet elk algo- 
ritme dat in polynomiale tijd oplosbaar is ook in polynomiale ruimte op- 
losbaar zijn. We definiëren daarom: 


PRUIMTE = {L| er bestaat een deterministische Turingmachine met 
polynomiaal begrensde ruimte die na alle inputs 
halt houdt en die de taal L accepteert } 
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of in termen van problemen 


PRUIMTE = {T|T is een beslissingsprobleem dat kan worden opge- 
lost door een DTM met polynomiaal begrensde 


ruimte die na alle inputs halt houdt} 


Er geldt P<SPRUIMTE en uit het bewijs van stelling 4.8 volgt dat ook 
NPEPRUIMTE. Ook geldt co-NPcPRUIMTE en ook de hele polynomiale 
hiërarchie PHcPRUIMTE. PRUIMTE is dus een grote klasse van pro- 
blemen. 

Hoewel alle problemen die oplosbaar zijn in polynomiale tijd kunnen 
worden opgelost in een polynomiale ruimte, is het niet bekend of er 
problemen bestaan die oplosbaar zijn in polynomiale ruimte, maar die 
niet oplosbaar zijn in polynomiale tijd. Toch lijkt dit een waarschijnlijke 
veronderstelling; als P # NP of zelfs P # PH dan volgt daaruit dat 
P + PRUIMTE, 

Net als bij NP kunnen we ook in PRUIMTE een klasse problemen aan- 
geven die in bepaalde zin als de moeilijkste kunnen worden beschouwd. 
Als we uitgaan van het taalmodel dan noemen we L PRUIMTE-compleet 
desd als Le€PRUIMTE en als voor alle L'€ PRUIMTE, L'« L. Hieruit 
volgt dat als L PRUIMTE-compleet is dan geldt LEP desd als P = 
PRUIMTE. We kunnen deze definities nu op voor de hand liggende wijze 
uitbreiden zodat zij op problemen van toepassing zijn. Zelfs als zou 
gelden P = NP dan nog zou kunnen gelden dat P # PRUIMTE en 
PRUIMTE-compleetheid is daarom een sterkere aanduiding voor onhandel- 
baarheid van een probleem dan NP-compleetheid. In de praktijk hebben 
we echter meestal te maken met NP-complete problemen en dit is de 
reden dat we hierop in dit boek vooral ingaan. 

Het kernprobleem dat PRUIMTE-compleet is en dat dezelfde rol speelt 
als SAT bij de NP-complete problemen is het volgende. 


De Gekwantificeerde Boole' se Formule (QBF) 


Gegeven: Een correct gevormde Boole'se formule 


F = (Qx QX) (QX DE 
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gore, en de 


grootheden Q, stellen ofwel de logische existentiekwantor (3) ofwel de 


E is een Boole' se expressie over de variabelen x 1% 


logische universaliteitskwantor (V) voor. 


Gevraagd: Is F waar? 


Nu we PRUIMTE hebben gedefinieerd zou men kunnen verwachten 
dat vervolgens NPRUIMTE wordt gedefinieerd - de klasse van talen die 
worden herkend door nondeterministische Turingmachines met gebruik 
van een polynomiaal begrensde ruimte. Het geven van zo'n definitie 
is echter zinloos omdat werd aangetoond dat PRUIMTE = NPRUIMTE. 
We gaan dus niet zoeken naar complexiteitsklassen groter dan PRUIMTE, 
maar juist naar verdere inperkingen van die ruimte tot een kleinere 
complexiteitsklasse. 

We gaan uit van een deterministische Turingmachine met twee tapes - 
- een inputtape waarvan alleen gelezen wordt en een lees/schrijf werk- 
tape waarop we uiteindelijk het resultaat zullen vinden. Bij het meten 
van de benodigde ruimte lijkt het zinnig alleen de ruimte op de werk- 
tape te meten. Zeker als we ruimterestricties beschouwen die sublineair 
zijn (dus 2(n) maar niet O(n)) dan zijn we wel gedwongen dit te doen 
omdat voor de input in ieder geval n locaties nodig zijn. Recent onder- 


zoek concentreerde zich op de klasse 


DLOGRUIMTE = {L|L kan worden herkend door een determinis- 
tisch Turingmachineprogramma met een werk- 
ruimte begrensd door log‚n+1 als n de 


lengte van de inputstring is}. 


Aantonen dat DLOGRUIMTEEP is betrekklijk eenvoudig maar nie- 
mand weet nog of hier sprake is van een echte deelverzameling. Men 
kan bewijzen dat P = DLOGRUIMTE en P = PRUIMTE niet tegelijker- 
tijd waar kunnen zijn en men veronderstelt dat zelfs geen van beide 
waar is. We vermoeden dus dat er problemen in P voorkomen die een 
grotere dan logaritmische werkruimte nodig hebben voor hun oplossing. 

Stel dat L ‚en L, talen zijn over de alfabetten L en Fa . We defini- 
eren dat een log-ruimtetransformatie van L, naar L i als een functie 
f: T7 -T3 zodanig dat 
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(1) x EL, desd als f(x) E€ L, en 


(2) f kan worden berekend door een DTM met een werkruimte die 
wordt begrensd door |log, x +1] voor elke inputstring x€ T*. Als 
er zo'n log-ruimtetransformatie van L, naar L, bestaat dan noteren we 
dat als L, “LOG L.. 

Men kan bewijzen dat = OG transitief is en dat als L, “LOG L, en 
L_€ DLOGRUIMTE dat dan ook L E€ DLOGRUIMTE. We definiëren daar- 
om een taal LEP als log-ruimtecompleet voor P als en alleen als voor 
alle L'€P geldt dat L' “LOG L. Als L log-ruimtecompleet is voor 


P dan geldt LEDLOGRUIMTE desd als DLOGRUIMTE = P. Deze pro- 
bleemklasse is op dit moment onderwerp van veel studies; de veronder- 
stelling is geuit dat problemen die log-ruimtecompleet zijn voor P hoogst- 
waarschijnlijk problemen zijn die niet beduidend sneller zullen kunnen 
worden opgelost met behulp van parallelle algoritmen. Dit vermoeden 
wordt de Parallelle rekenhypothese genoemd. 


PRUIMTE 


PH 


co-NP n 
Log-ruimtecompleet 
voor P 
DLOGRUIMTE 


Figuur 6.13 
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SAMENVATTING 

Ons huidige zicht op de wereld der complexiteitsklassen is in figuur 
6.13 schematisch weergegeven. Er zijn nog veel meer complexiteitsklas- 
sen voorgesteld en onderzocht, maar behandeling daarvan in dit boek 
zou te ver voeren. In ieder geval behandelden we de belangrijkste 
klassen en in het bijzonder die klassen die voortkomen uit praktijkpro- 
blemen. Hierdoor hebben wij een verband kunnen leggen tussen een 


interessant stuk formele theorie en de praktijk. 


OEFENINGEN 


1. Laat zien dat 
AS Se OCHS 
(b) log,(n) is 9 (dog, (n) voor iedere kè2; 
(c) f(n) is Ə(g(n)) impliceert dat g(n) is 8(f(n)). 


2. Bepaal een oplossing voor het handelsreizigersprobleem bij de gela- 
belde graaf uit figuur 6.14. Moeten alle 4! mogelijke rondreizen 
worden berekend? Als A het uitgangspunt is, zou NN dan de juiste 
oplossing hebben gegeven? Wat is het slechtste resultaat waartoe 


NN bij dit probleem leidt? 


Figuur 6.14 


3. 
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k A en B worden ieder 


A en B zijn twee nxn matrices met n=2 
onderverdeeld in vier n/2xn/2 deelmatrices, zoals hieronder aan- 


gegeven. 


Aıı A12 Biro Biz 
A = B = 
A21 A22 B21 B22 
Als de produktmatrix C=AB op dezelfde manier wordt onderver- 


deeld geef dan uitdrukkingen voor Cıı, Cı2, C21 en C22 in termen 


van 


(A11 + A22)(B11 + B22) 
(A21 + A22) Ba: 
= A11(B12- B22) 
A22(B21 - B11) 
(A11 + A12) Bz22 
= (A21- A11)(B11 +B12) 
V = (A12- A22)(B21 + B22) 


Gon VO "U 


De waarden P,Q,R,S,T,U,V kunnen worden berekend met behulp 
van 7 matrixvermenigvuldigingen en 10 matrixoptellingen /aftrekkin- 
gen. Hoeveel extra optellingen/aftrekkingen zijn nodig om uit deze 
waarden Cı; C12, C21 en C3, te berekenen? Als T(n) de totale 
tijd voorstelt die nodig is om twee nxn matrices met elkaar te 


vermenigvuldigen leid dan de volgende relatie af 


b voor n<2, 
T(n) = 
1T(n/2) + an? voor n>2. 


Hierbij stellen a en b constanten voor. Leid nu een oni°8z7, 
algoritme af voor de vermenigvuldiging van twee nxn matrices. 
(Dit algoritme staat bekend als het algoritme van Strassen.) 


Toon aan dat P een equivalentieklasse is onder polynomiale equiva- 


lentie. [ Hint: los het probleem via de transformatie op. ] 


Als M een NDTM is van graad m, (m> 1), die een taal L accepteert 
dan bestaat er een NDTM, M' van graad 2 die L ook accepteert 
terwijl voor alle xEL, En (x) Oog m)l y(%)) is. Bewijs dit. 
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6. Hoeveel Boole'se variabelen en hoeveel clausen worden er in het 


bewijs van de stelling van Cook geconstrueerd? 


7. (a) Beschrijf een polynomiaal algoritme dat 2SAT oplost. [ Hint: 
als aan {A,B} en aan {B,C} kan worden voldaan dan geldt dit ook 
voor {A,C}.] 

(b) Bewijs dat kSAT voor k24 NP-compleet is. 


8. Beschouw het volgende probleem: 


Exacte overdekking door 3-elementsverzamelingen (X3C) 

Gegeven: Een verzameling X met |X|=3q en een collectie C 
van 3-elementsdeelverzamelingen van X. 

Gevraagd: Bevat C een exacte overdekking voor X. Dat wil zeg- 
gen bestaat er een deelcollectie C' van C zodanig dat elk element 


van X voorkomt in een element van C'? 


(a) Construeer een voorkomen I€ Ys3c en een voorkomen 

l 

I'g Yzsc: 

(b) Toon aan dat X3C €NP. 

(c) Bewijs dat X3C NP-compleet is door middel van een polyno- 
miale transformatie 3DM «= X3C. 


9. Zij G een graaf met knopen V en kanten E. Zij c:E>Z een 
kostenfunctie gedefinieerd op de kanten van G. Zij verder V'c V. 
Beschouw nu het volgende probleem: te berekenen de subgraaf van 
G met minimale kosten, die verbonden is en die alle knopen uit V' 
(en mogelijk nog andere) bevat. Dit probleem uit de grafentheorie 
heet het Steinertree probleem. 


(a) Bewijs dat de oplossing een boom moet zijn. 

(b) Bewijs dat het probleem oplosbaar is in polynomiale tijd als 
V! 2: Vork als- HCV Ames 

(c) Zij #(V)=n en #(V')=m. Toon aan dat het prokleem kan 


worden opgelost door 2° ™ 


keer een probleem van de minimale 
opspannende boom op te lossen als 2<m<n. 

(d) Formuleer het beslissingsprobleem bij het Steinertree probleem 
voor grafen. Toon aan dat dit probleem NP-compleet is. [Hint: con- 


strueer een polynomiale transformatie vanuit X3C.] 


10. 


Il, 


12. 


13. 


14. 
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G is een graaf met knopenverzameling V en kantenverzameling E. 
Een kliek in G is een deelverzameling V'c V zodanig dat elk kno- 
penpaar in V' door een kant uit E verbonden is. Het complement 
van G heeft knopen V en een kant @Q———®) desd als u en v in G 
G niet onderling verbonden zijn. Laat zien dat V' een kliek is in 
het complement van G desd als V\V' een knopenoverdekking voor 


G vormt. Leid hieruit af dat het volgende probleem NP-compleet is. 


Kliek 
Gegeven: Een graaf G en een positief geheel getal b. 
Gevraagd: Bevat G een kliek van >b knopen? 


Toon aan dat het niet waarschijnlijk is dat we een algoritme van 
polynomiale tijd zullen vinden om het subgraaf-isomorfisme-probleem 
op te lossen. Dit probleem bestaat uit het bepalen van een subgraaf 
in een gegeven graaf die isomorf is met een andere gegeven graaf. 


[Hint: zie vraag 10. ] 


Bewijs dat het volgende probleem NP-compleet is. 


Multiprocessorscheduling 

Gegeven: Een eindige verzameling J van taken (jobs) en een 
duur l(j) ép” voor elke taak j. Verder n ez” processoren en 
een uiterst oplevertijdstip (deadline) d € 3; 

Gevraagd: Bestaat er een partitie J = J, U J, Bet U Ja van J 


in n disjuncte verzamelingen zodanig dat 


max{ > Lj)|1<i<m} <a? 
JEJ; 


Een Hamiltonpad in een graaf is een pad dat elke knoop in de graaf 
precies één keer bezoekt. Toon, door het bewijs van stelling 6.10 
aan te passen, aan dat het beantwoorden van de vraag of een graaf 


een Hamiltonpad heeft een NP-compleet probleem is. 


Beschouw het partitieprobleem met 8 elementen wer, ……….,dg met 

gewichten 2,3,4,5,6,7,8. Gebruik het algoritme van pseudopolyno- 
miale tijd dat we in dit hoofdstuk beschreven om na te gaan of er 
een partitie bestaat. Laat zien dat het algoritme O(nh) is, waarbij 


n het aantal elementen voorstelt en h=za,l r 
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15. 


16. 


Its 


18. 
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Als LEP dan bestaat er een DTM, M die L accepteert en die een 
unieke acceptatietoestand (dit is een eindtoestand) en een unieke 
afwijstoestand (dit is een toestand waarin de machine zonder succes 
halthoudt) heeft. Verder geldt dan LeP desd LÎ¢€P. Bewijs deze 
beweringen en geef aan waarom uw constructie niet werkt voor 
LENP. 


Bewijs dat een DTM met een orakel dat MEE oplost kan worden 


gebruikt voor het oplossen van SAT in polynomiale tijd. Leid hier- 


uit af dat MEE een NP-moeilijk probleem is. 


{SAT} 


Bewijs dat elk NP-gemakkelijk probleem in P ligt. 


Bewijs dat NPEPRUIMTE. [Hint: zie stelling 4.8.] 


Appendix 


De Turingmachine Simulator 


We beschrijven hier een programma in Pascal dat kan worden gebruikt 
om het gedrag van een Turingmachine M = (Q@,x,T,P‚q ,F) te simu- 
leren. Als enige beperking eisen we dat de gebruikte hoeveelheid tape 
eindig is. Zonder verlies van algemeenheid veronderstellen we dat de 
toestanden Q worden gevormd door de natuurlijke getallen 1,2,...,n 
voor een nèi en dat de eindtoestanden F worden gevormd door de 
toestanden m‚m+1,...‚n voor 1<ms<n. De symbolen uit het tape alfa- 
bet x mogen lengte >1 hebben, maar we eisen dat zij allen dezelfde 
lengte hebben. Hiertoe zal het misschien nodig zijn bepaalde symbolen 
aan te vullen met spaties. Als dus bijvoorbeeld > = {0,01,02} dan 
is de lengte van ieder symbool in > gelijk aan twee en we vullen de 
symbolen dus aan tot {' 0','01','02'}. 

We voeren een TM-programma in twee stappen in in de simulator. 


Allereerst moeten de volgende constanten worden geïnitialiseerd. 


AantalToestanden: het aantal toestanden in Q. Vervolgens wordt aan- 
genomen dat de toestanden worden gevormd door de natuurlijke 
getallen 1,1,...,AantalToestanden. 

BeginToestand: het getal dat de begintoestand vertegenwoordigt. 

EersteHaltToestand: het kleinste gehele getal dat een eindtoestand voor- 
stelt. Vervolgens wordt aangenomen dat alle toestanden in het inter- 
val EersteHaltToestand..Aantal Toestanden een eindtoestand is. 

AantalSymbolen: het aantal verschillende symbolen in het tape alfabet >. 

MaxSymboolLengte: lengte van de langste symbolenstring in Z. Vervol- 
gend wordt aangenomen dat alle symbolen die lengte hebben. 

Blank: het symbool dat het lege symbool aangeeft (en dat natuurlijk 
de lengte MaxSymboolLengte moet hebben). 
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Spoor: een Boole'se variabele die TRUE is als we alle tussenresultaten 
willen zien. 
Tapelimiet: de grootheid die de lengte van de tape bepaalt. De tape 


beschikt over de locaties —Tapelimiet..Tapelimiet. 


Ten tweede vullen we een file TupelFile met het TM-programma P. 
Als P(q‚a) = (q'‚a',X), q,q'€Q, a'E Z, XE{L,R,0} dan staat in 
de file een regel zoals is aangegeven in figuur A.1. Hierbij zijn 


q,‚q' van het type TOESTANDTYPE =1..AantalToestanden 

a,a' van het type 

SYMBOOLTYPE = PACKED ARRAY[1..MaxSymboollengte] of CHAR, 
en X heeft het type STAP = CHAR. 


Figuur A.1 


De simulator eist niet dat de bestandsregels in een bepaalde volgorde 
staan en ook het alfabet x hoeft niet van te voren bekend te zijn. Door 
het lezen van Tupelfile wordt de inhoud van Z automatisch vastgesteld. 

Nadat de Turingmachine M is beschreven aan de simulator, moet de 
input worden gegeven door middel van de file TMtape. TMtape is een 
file van het type Symbooltype en elk symbool moet precies MaxSymbool- 
lengte tekens bevatten. Het programma is geschreven in Turbo Pascal, 
versie 3.0. Ter vereenvoudiging gingen we uit van symbolen van één 
teken en is aan Symbooltype het type 'char' gegeven. 

Voor het vullen van de Tupelfile met records van het type Vijftupel 
moet een afzonderlijk invoerprogramma worden geschreven. Van de 
inputtape TMtape maakten we een textfile; deze kan met een texteditor 
zoals Edlin worden gevuld. 

Na de programmalisting volgt de output voor de binair-unair omzetter 
uit figuur 2.9. Als inputtape gebruikten we het binaire getal 101; de 
unaire output zou dus 11111 moeten worden en dit blijkt inderdaad het 
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geval. (Natuurlijk is dit verre van een correctheidsbewijs van het pro- 


gramma!) 


We drukten ter wille van de ruimte alleen die stappen af waarbij iets 


anders op de tape 


program TuringMachine; 


const 
Dummy 
Blanco 


AantalToestanden =23; 


Begintoestand 


EersteHalttoestand =25; 


AantalSymbolen 


MaxSymboollengte =|; 


Blank 
Spoor 
Tapelimiet 


zin, 
Li 


=true; 
=1009; 


{Bovenstaande constanten moeten tevoren worden ingesteld 


{De huidige waarden zijn voor de simulatie van de binair-unairconvertor} 


{(Zie: figuur 2.9)} 


type 
Symbooltype = 
Toestandtype = 
Symcode = 
Actie = 


Vijftupel 


Tapeindex 


var 
Alfabet 
Overgang, 
GevrActie 
OvergangsTabel 
Tape 


char; 
|. .AantalToestanden; 
Ø. „AantalSymbolen; 


record 
SchrijfSymbool : Symcode; 
Stap : char; 
NieuweToestand : integer 

end; 

record 


HuidigeToestand: integer; 
LeesSymbool _: Symbooltype; 
SchrijfSymbool : Symbooltype; 


Stap : char; 
NieuweToestand : integer; 
end; 


-Tapelimiet..Tapelimiet; 


sarray[Symcode] of Symbooltype; 


Actie; 
sarraylToestandtype,Symcode] of Actie; 
sarraylTapeindex] of Symcode; 


wordt geschreven dan werd gelezen. 
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Symbool :Symbooltype; 
Tupel :Vijftupel; 
FunctieDef, 

TapeVol, 

EindTape boolean; 
SymBekend, 

Gelezen :Symcode; 


Toestand :Toestandtype; 
Symboolnr :Symcode ; 


Tapekop, 

Kop, 

MeestLinker, 

MeestRechter :Tapeindex; 

TMtape (file of Symbooltype}text; 
TupelFile file of Vijftupel; 

Nstap integer ; 

Ans :string[1]; 

Opt :text; 


function BepSymcode(Zoeksym:Symbooltype) :Symcode; 


(Geeft geheeltallige codering van symbool } 
{Als symbool nog niet voorkomt wordt dit aan het eind toegevoegd} 
{en wordt de nieuwe positie gegeven } 
var 


Gevonden: boolean; 
Symnum : Symcode; 
begin 
Gevonden: =false;Symnum: =ð; 
while(Symnum<=SymBekend) and not Gevonden do 
if Alfabet[Symnum]=Zoeksym then 
Gevonden: =true 
else 
Symnum: =Symnum+1 ; 
if Symnum>SymBekend then 
begin 
Alfabet [Symnum]:=Zoeksyn; 
SymBekend : =SymBekend+1 
end; 
BepSymcode : =Symnum 
end; 


procedure ToonResultaat ; 

{Drukt de niet lege tekens van de tape af. Allemaal als het een tussen-} 
{resultaat is en vanaf positie 1 als het om het eindresultaat gaat. } 
var 
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Ptr,LPtr,‚RPtr: Tapeindex; 
begin 
if Spoor and not EindTape then 
begin 
LPtr:=MeestLinker ; 
while (LPtr<=6) and (TapelLPtr]=Blanco) do 
LPtr:=LPtr+1; 


with GevrActie do 
begin 
if Stap='R" then 
Kop: =Tapekop-1 
else 
if Stap='L' then 
Kop: =Tapekop+1 
else Kop:=Tapekop; 
write(Opt„Nstap:4,Toestand:4,Kop:4,Alfabet[Gelezen]:4, 
Alfabet[Schrijfsymbool]:4,Stap:4); 
end 
end 
else 
begin 
LPtr:=1; 
writeln(Opt, 'Berekende output is: ') 
end; 
RPtr:=MeestRechter ; 
while (RPtr>=1) and (TapelRPtrJ=Blanco) do 
RPtr:=RPtr-1; 
for Ptr:=LPtr to RPtr do 
write(Opt,Ptr:3,':’ ‚Alfabet [TapelPtr ]]:1); 
writeln(Opt); 
end; 


procedure BepActie; 
{Bepaalt de volgende toestand en het te schrijven symbool} 
begin 
if Overgangstabel[Toestand, Gelezen).NieuweToestand»Dummy then 
GevrActie:=Overgangstabel[Toestand, Gelezen] 
else 
FunctieDef :=false; 
end; 


begin 
{Initialisatie} 
for Toestand:=| to AantalToestanden do 
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for Symboolnr:=d to AantalSymbolen do 
Overgangstabel[Toestand,Symboolnr ].NieuweToestand : =Dumny; 

for Tapekop:=-Tapelimiet to Tapelimiet do 

TapelTapekop }:=0; 
Ans:=" ';write('Output naar Scherm of Printer (S/P)? '); 
Readln(Ans); 
assign(Opt, 'CON:'); 
if Ans='P" then 

assign(Opt,'LST:'); 
rewrite(Opt) ; 
Alfabet [0]: =Blank;Nstap:=4; 
writeln(Opt, 'Begintoestand is: '‚Begintoestand) ; 
writeln(Opt, 'Eindtoestanden vanaf: '‚EersteHalttoestand); 


{Lees de tape in} 

assign(TMtape, 'B:TMtape.dat') ; 

reset (TMtape) ; 

writeln(Opt); 

writeln(Opt,'De inputtape bevat: '); 

SymBekend: =ġ; 

Tapekop:=1; 

while not eof (TMtape) do 

begin 
read1n(TMtape, Symbool); 
write(Opt,Tapekop:3,':* „Symbool: 1); 
TapelTapekop ]:=BepSymcode (Symbool) ; 
Tapekop: =Tapekop+1 

end; 

MeestRechter :=Tapekop ; 

writeln(Opt) ;writeln(Opt) ; 


{Lees de vijftupels in} 
assign(Tupelfile, 'B:Tupels.dat'); 
reset (Tupelfile); 
writeln(Opt, 'Het Turingmachineprogramma is:'); 
while not eof(Tupelfile) do 
begin 
read(Tupelfile,Tupel); 
with Tupel do 
writeln(Opt,HuidigeToestand,' ’,‚Leessymbool,' '‚Schrijfsymbool,’ *, 
Stap,’ ',‚NieuweToestand); 
Toestand: =Tupel „HuidigeToestand; 
Gelezen: =BepSymcode(Tupel „Leessymbool) ; 
with GevrActie do 
begin 
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SchrijfSymbool :=BepSymcode(Tupel .Schrijfsymbool); 
Stap:=Tupel Stap; 
NieuweToestand: =Tupel .NieuweToestand; 
end; 
Overgangstabel[Toestand, Gelezen]: =GevrActie 
end;writeln(Opt); 


{Voer het Turingmachineprogramma uit} 
if Spoor then 
begin 
writeln(Opt); 
writeln(Opt,’ Nwe Pos Gel Sch Stp’); 
writeln(Opt,' Stp Tst Tpk Sym Sym Rch == Tapeinhoud =="); 
end; 
Tapekop:=1;MeestLinker :=1; 
Toestand: =Begintoestand; Gelezen: =Tapel 1}; 
FunctieDef :=true;TapeVol:=false;Eindtape:=false; 
BepActie; 
while FunctieDef and not TapeVol do 
with GevrActie do 
begin 
Toestand: =NieuweToestand; 
Tapel Tapekop }:=Schri j fSymbool ; 
if Stap='L' then 
begin 
Tapekop: =Tapekop-1; 
if Tapekop<MeestLinker then 
MeestLinker :=Tapekop; 
end 
else if Stap='R' then 
begin 
Tapekop: =Tapekop+1; 
if TapekopdMeestRechter then 
MeestRechter : =Tapekop ; 
end; 
Nstap:=Nstap+1; 
if Spoor and (Alfabet[Gelezen}>Alfabet[Schrijfsymbool]) then 
ToonResultaat ; 
if abs(Tapekop)<=Tapelimiet then 
begin 
Gelezen: =Tapel Tapekop}; 
BepActie; 
end 
else 
TapeVol :=true 
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end; 
if TapeVol then 
writeln(Opt, 'Tapelimiet bereikt’) 
else 
if Toestand<EersteHalttoestand then 
writeln(Opt,'Turingmachine stopt zonder succes’) 
else 
begin 
Eindtape:=true; 
ToonResultaat ; 
end; 
close(Tupelfile); 
end. 
`Z 
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Het ontwerpen, analyseren en efficiënt uitwerken 

van algontmen is een belangrijke activiteit binnen de 
informatica. Dit boek tracht de meest fundamentele 
vragen te beantwoorden die men zich hierbij kan stellen: 
Waar liggen de grenzen van de mogelijkheden van 
computers? , Bestaat er een algoritme voor het oplossen 
van een gegeven probleem?’ en zo ja Bestaat er ook 
een efficiënt werkend algoritme?’ 

De berekenbaarheidstheorie biedt de mogelijkheid 
problemen te classificeren in oplosbare en onoplosbare 
problemen en maakt daarbij gebruik van het 
Turingmachinemodel. De aan het slot van dit boek 
behandelde complexiteitstheorie geeft ons vervolgens 
antwoord op de vraag hoe ‘moeilijk’ een bepaald 
probleem is en verdeelt daartoe oplosbare problemen 
verder onder in handelbare en onhandelbare problemen. 
Het grootste deel van deze theorie is van recente 

datum (na 1970) en de theorie is nog volop in ontwikke- 
ling. Kennisnemen van de huidige stand van zaken is 
daarom voor iedere informaticastudent en voor ieder die 
in informatica geïnteresseerd is een ‘must’! 
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